Настройка robots.txt: что на сайте стоит спрятать от робота?

13 июня 2019 (обновлено 20 ноября 2019)
31.2K
5 мин.

Файл robots.txt представляет собой набор директив (набор правил для роботов), с помощью которых можно запретить или разрешить поисковым роботам индексирование определенных разделов и файлов вашего сайта, а также сообщить дополнительные сведения. Изначально с помощью robots.txt реально было только запретить индексирование разделов, возможность разрешать к индексации появилась позднее, и была введена лидерами поиска Яндекс и Google.

Структура файла robots.txt

Сначала прописывается директива User-agent, которая показывает, к какому поисковому роботу относятся инструкции.

Небольшой список известных и частоиспользуемых User-agent:

  • User-agent:*
  • User-agent: Yandex
  • User-agent: Googlebot
  • User-agent: Bingbot
  • User-agent: YandexImages
  • User-agent: Mail.RU

Далее указываются директивы Disallow и Allow, которые запрещают или разрешают индексирование разделов, отдельных страниц сайта или файлов соответственно. Затем повторяем данные действия для следующего User-agent. В конце файла указывается директива Sitemap, где задается адрес карты вашего сайта.

Прописывая директивы Disallow и Allow, можно использовать специальные символы * и $. Здесь * означает «любой символ», а $ – «конец строки». Например, Disallow: /admin/*.php означает, что запрещается индексация индексацию всех файлов, которые находятся в папке admin и заканчиваются на .php, Disallow: /admin$ запрещает адрес /admin, но не запрещает /admin.php, или /admin/new/ , если таковой имеется.

Если для всех User-agent использует одинаковый набор директив, не нужно дублировать эту информацию для каждого из них, достаточно будет User-agent: *. В случае, когда необходимо дополнить информацию для какого-то из user-agent, следует продублировать информацию и добавить новую.

Пример robots.txt для WordPress:

robots.txt для WordPress

*Примечание для User agent: Yandex

  • Для того чтобы передать роботу Яндекса Url без Get параметров (например: ?id=, ?PAGEN_1=) и utm-меток (например: &utm_source=, &utm_campaign=), необходимо использовать директиву Clean-param.

    Clean-param

  • Ранее роботу Яндекса можно было сообщить адрес главного зеркала сайта с помощью директивы Host. Но от этого метода отказались весной 2018 года.

  • Также ранее можно было сообщить роботу Яндекса, как часто обращаться к сайту с помощью директивы Crawl-delay. Но как сообщается в блоге для вебмастеров Яндекса:

    • Проанализировав письма за последние два года в нашу поддержку по вопросам индексирования, мы выяснили, что одной из основных причин медленного скачивания документов является неправильно настроенная директива Crawl-delay.
    • Для того чтобы владельцам сайтов не пришлось больше об этом беспокоиться и чтобы все действительно нужные страницы сайтов появлялись и обновлялись в поиске быстро, мы решили отказаться от учёта директивы Crawl-delay.

    Вместо этой директивы в Яндекс. Вебмастер добавили новый раздел «Скорость обхода».

Проверка robots.txt

Старая версия Search console

Для проверки правильности составления robots.txt можно воспользоваться Вебмастером от Google – необходимо перейти в раздел «Сканирование» и далее «Просмотреть как Googlebot», затем нажать кнопку «Получить и отобразить». В результате сканирования будут представлены два скриншота сайта, где изображено, как сайт видят пользователи и как поисковые роботы. А ниже будет представлен список файлов, запрет к индексации которых мешает корректному считыванию вашего сайта поисковыми роботами (их необходимо будет разрешить к индексации для робота Google).

Проверка robots.txt в старой версии search console

Обычно это могут быть различные файлы стилей (css), JavaScript, а также изображения. После того, как вы разрешите данные файлы к индексации, оба скриншота в Вебмастере должны быть идентичными. Исключениями являются файлы, которые расположены удаленно, например, скрипт Яндекс.Метрики, кнопки социальных сетей и т.д. Их у вас не получится запретить/разрешить к индексации. Более подробно о том, как устранить ошибку «Googlebot не может получить доступ к файлам CSS и JS на сайте», вы читайте в нашем блоге.

Новая версия Search console

В новой версии нет отдельного пункта меню для проверки robots.txt. Теперь достаточно просто вставить адрес нужной страны в строку поиска.

Проверка robots.txt в старой новой search console

В следующем окне нажимаем «Изучить просканированную страницу».

Изучить просканированную страницу

Далее нажимаем ресурсы страницы

Ресурсы страницы

В появившемся окне видно ресурсы, которые по тем или иным причинам недоступны роботу google. В конкретном примере нет ресурсов, заблокированных файлом robots.txt.

Недоступные ресурсы страницы

Если же такие ресурсы будут, вы увидите сообщения следующего вида:

Ресурсы страницы заблокированные файлом robots.txt

Рекомендации, что закрыть в robots.txt

Каждый сайт имеет уникальный robots.txt, но некоторые общие черты можно выделить в такой список:

  • Закрывать от индексации страницы авторизации, регистрации, вспомнить пароль и другие технические страницы.
  • Админ панель ресурса.
  • Страницы сортировок, страницы вида отображения информации на сайте.
  • Для интернет-магазинов страницы корзины, избранное. Более подробно вы можете почитать в советах интернет-магазинам по настройкам индексирования в блоге Яндекса.
  • Страница поиска.

Это лишь примерный список того, что можно закрыть от индексации от роботов поисковых систем. В каждом случае нужно разбираться в индивидуальном порядке, в некоторых ситуациях могут быть исключения из правил.

Заключение

Файл robots.txt является важным инструментом регулирования отношений между сайтом и роботом поисковых систем, важно уделять время его настройке.

В статье большое количество информации посвящено роботам Яндекса и Google, но это не означает, что нужно составлять файл только для них. Есть и другие роботы – Bing, Mail.ru, и др. Можно дополнить robots.txt инструкциями для них.

Многие современные cms создают файл robots.txt автоматически, и в них могут присутствовать устаревшие директивы. Поэтому рекомендую после прочтения этой статьи проверить файл robots.txt на своем сайте, а если они там присутствуют, желательно их удалить. Если вы не знаете, как это сделать, обращайтесь к нам за помощью.

2
0
1
0
0

Дмитрий Ковалев

SEO-специалист сервиса 1PS.RU

© 1PS.RU, при полном или частичном копировании материала ссылка на первоисточник обязательна

50+ нейросетей и инструментов для маркетологов и бизнеса

Забирайте 50 самых полезных сервисов на основе искусственного интеллекта для продвижения бизнеса.

Забрать список

Популярные статьи

20 марта 2023

Как умная камера от Яндекс облегчает жизнь пользователям

Читать статью 52.8K 4 мин.
10 марта 2018

ТОП 150 блогов по интернет-маркетингу

Читать статью 36.9K 10 мин.
22 сентября 2018

Что лучше: SEO-продвижение или контекстная реклама?

Читать статью 38.5K 10 мин.
8 сентября 2018

Еще 49 инструментов для интернет-маркетолога

Читать статью 43.1K 6 мин.
3 февраля 2025

Что такое 301 редирект и как его правильно настроить

Читать статью 28.9K 12 мин.
8 мая 2019

Будущее за мессенджерами: продвижение в WhatsApp, Viber и Telegram

Читать статью 33.1K 11 мин.
25 февраля 2020

Проверка адаптивности сайта для мобильных устройств с помощью Google Mobile-friendly

Читать статью 36.9K 5 мин.
18 сентября 2023

Эволюция не по Дарвину: все алгоритмы Яндекса с 2007 по 2023 год

Читать статью 33.5K 18 мин.
12 марта 2021

Подбор ключевых запросов для эффективного продвижения

Читать статью 46.8K 16 мин.
28 ноября 2018

Стратегия продвижения: ТОП-3 лучших стратегий

Читать статью 62.5K 18 мин.
8 апреля 2019

Сим-сим, откройся: что важно знать о ключевых запросах

Читать статью 59.6K 10 мин.
29 декабря 2020

Яндекс YATI: о новом алгоритме ранжирования простыми словами

Читать статью 23K 5 мин.

Все популярные статьи

Закрытый клуб для маркетологов и владельцев бизнеса. Оставьте запрос на вступление!

Бизнес-завтраки онлайн, эксклюзивные материалы, доступ к Обучающему центру.
Специальные предложения для своих. Бесплатно навсегда

250 000 участников сообщества каждую неделю получают письма от нас

Еженедельные полезные советы по продвижению бизнеса и эксклюзивные предложения абсолютно бесплатно – подайте заявку на вступление!

Услуги, которые могут вас заинтересовать

Привлечем новых клиентов текстами! Напишем качественные статьи, промаркируем их, разместим на сторонних площадках – вы получите большие охваты, рост узнаваемости и трафика на сайт.

Стоимость:
от 32 500

Позволяет получить естественные ссылки на сайт, улучшает видимость сайта в поисковиках.

Стоимость:
-20% до 30 июняот 7 920 от 9 900

Любые работы по оптимизации: составление сем. ядра, настройка вебмастеров, теги Title, Description, H1-H6, файлы robots.txt, sitemap и др.

Смотреть все услуги Попробовать бесплатно