8-800-500-89-91

10 августа 2015

Статья прочитана 6057 раз

Убираем ошибку «Googlebot не может получить доступ к файлам CSS и JS на сайте» в Google Webmaster

В конце прошлого месяца на панели Google Webmaster владельцы сайтов начали получать сообщение с ошибкой: Googlebot не может получить доступ к файлам CSS и JS на сайте. Некоторым владельцам сайтов и вебмастерам такая проблема встречалась и ранее, но сейчас Google предупреждает, что если доступ к ресурсам не будет открыт, то сайт потеряет позиции в поисковой выдаче. Сегодня мы поговорим о том, что это за ошибка и как ее устранить, чтобы не обрушить свой сайт и не понести серьезные убытки.

Итак, вот какие сообщения получают вебмастера от Google:

Обратите внимание, что в справке Google также появилась обновленная запись об этих файлах:

А теперь посмотрим, как найти и исправить все ошибки на сайте, чтобы Googlebot начал правильно распознавать файлы и не ухудшил позиции в поисковой выдаче.

Шаг 1. Ищем, с какими файлами на сайте проблема у Google

После того как вы получили подобное сообщение, необходимо найти те файлы, с индексацией которых у Google возникли трудности. Для этого:

В результате вы получите два изображения своего сайта: на первом будет видно, как его распознает бот, на втором – как посетитель. При отсутствии ошибок эти изображения должны быть одинаковыми. Дополнительно система сформирует для вас список файлов, с индексацией которых возникла проблема у ботов Google.

Мы проверили несколько сайтов, работающих на разных системах управления (CMS). Вот несколько примеров результатов проверки.

Bitrix CMS

Joomla CMS

Wordpress CMS

Из примеров выше видно, что робот не может не только проиндексировать css и javascript файлы, но и не распознает некоторые рисунки на сайте.

Важно! Мы рекомендуем проверять не только главную страницу своего сайта, но и внутренние, с вложенностью одного и двух слешей (site.ru/catalog и site.ru/catalog/tovar), а также страницы, на которых могут выполняться отдельные скрипты или плагины. Для этого проверьте URL страниц так, как мы описывали выше.

Шаг 2. Исправляем найденные ошибки

Теперь, когда мы точно знаем, какие файлы Googlebot не может проиндексировать на сайте, необходимо открыть их для индексации. Для этого добавляем соответствующие директивы в robots.txt, после чего проверяем правильность вновь созданной инструкции.

К сожалению, собственный инструмент проверки у Google очень неудобен: можно добавить лишь 1 адрес.

Однако, чтобы облегчить себе жизнь, можно воспользоваться инструментом Яндекса. Здесь есть возможность указать сразу весь перечень адресов, доступ к которым мы хотим проверить. Однако очень важно помнить, что Яндекс воспринимает только те инструкции, которые прописаны именно для его робота. Поэтому для проверки перед всей инструкцией пропишите User-Agent: Yandex или User-Agent: *

Если инструкции настроены верно, то в результатах проверки будет надпись: «Разрешен».

Шаг 3. Заново проверяем сайт через Google Webmaster

Перед тем как закончить работу и вздохнуть с облегчением по поводу того, что все ошибки устранены, после обновления файла robots.txt проверьте еще раз сайт через Webmaster, как это было описано выше. Во-первых, вы элементарно могли пропустить какие-то ошибки при составлении файла, во-вторых сам Webmaster мог не сразу показать все недоступные роботу файлы. Если найдены еще файлы, добавляем новые инструкции в robots.txt.

В итоге, когда все разрешения настроены, изображение сайта, которое видит робот, будет соответствовать тому, что видим мы в браузере.

Замечание. Ошибки, связанные со счетчиками метрик, являются незначительными, на что указывает справка самого Google.

Важно! Не забудьте также сделать проверку и для Mobile: smartphone робота. Возможно, появятся дополнительные файлы.

Настройки robots.txt для разных CMS

Чтобы упростить вам работу, мы составили несколько шаблонов инструкций для популярных движков. Скопируйте код в файл robots.txt, после чего обновите его в корне сайта.

Настройки для Wordpress

Allow: /wp-includes/css/
Allow: /wp-includes/js/
Allow: /wp-includes/images/
Allow: /wp-content/themes/*.css
Allow: /wp-content/themes/*.js
Allow: /wp-content/plugins/*.css
Allow: /wp-content/plugins/*.js
Allow: /wp-content/uploads/*.css
Allow: /wp-content/uploads/*.js

Настройки для Joomla

Allow: /templates/*.css
Allow: /templates/*.js
Allow: /templates/*.png
Allow: /templates/*.gif
Allow: /templates/*.ttf
Allow: /templates/*.svg
Allow: /templates/*.woff
Allow: /components/*.css
Allow: /components/*.js
Allow: /media/*.js
Allow: /media/*.css
Allow: /plugins/*.css
Allow: /plugins/*.js

Настройки для Bitrix

Allow: /bitrix/templates/*.js
Allow: /bitrix/templates/*.png
Allow: /bitrix/templates/*.jpg
Allow: /bitrix/templates/*.gif
Allow: /bitrix/cache/css/*.css
Allow: /bitrix/cache/js/s1/*.js
Allow: /upload/iblock/*.jpg
Allow: /upload/iblock/*.png
Allow: /upload/iblock/*.gif

Подведем итог

Если в вебмастере Google появилось сообщение об ошибке: «Googlebot не может получить доступ к файлам CSS и JS на сайте», проверьте сайт на наличие ошибок и пропишите новые инструкции в файле robots.txt. Если это предупреждение проигнорировать и не принять соответствующих мер, то сайт может просто потерять позиции в выдаче, что напрямую и, кстати, негативно, отразится на его посещаемости и вашей прибыли.

Не хотите тратить своё время и разбираться с техническими вопросами? Наши специалисты помогут решить проблему. Стоимость услуги 900 р. Пишите в Службу поддержки.

robots.txt, google

Автор Дмитрий Мочалов
SEO-специалист сервиса 1PS

Понравилась статья?



Правила комментирования блога

Подпишитесь на рассылку и получайте свежие хаки об интернет-маркетинге и SEO

ДА!

1 письмо
в неделю

3 статьи
в письме

Бонус «для своих»
в каждом письме