Все о robots.txt

15 июля 2013 (обновлено 28 июня 2018)
92.6K
3 мин.

robots.txt – это обычный текстовый файл, размещенный на сайте и предназначенный для роботов поисковых систем. В этом файле можно указать параметры индексирования своего сайта для всех роботов поисковых систем сразу или для каждой поисковой системы по отдельности.

Все поисковые роботы при заходе на сайт в первую очередь ищут файл robots.txt.

Как создать?

Сделать файл robots.txt очень просто – создаете обычный текстовый документ, называете его robots, не ошибитесь в регистре букв или в самих буквах, название должно быть именно такое. Если не планируете запрещать индексирование страниц сайта, можно созданный файл оставить пустым. Если планируете – просто заполняете документ в соответствии с принятыми в 1994 году общими стандартами. После этого необходимо загрузить файл в корневой каталог вашего сайта, чтобы файл открывался по ссылке http://www.site.ru/robots.txt . Всё.

Что закрывать от индексации?

Вообще от индексации рекомендуется закрыть все страницы с неуникальным контентом, страницы с результатами поиска по сайту, страницы авторизации и другие технические страницы, которые не должны участвовать в поисковой выдаче.

Правила заполнения файла robots.txt

Итак, в файле robots.txt каждая команда или директива должна прописываться отдельной строкой. Число команд не ограничено.

  • Директива user-agent

    Первое, с чего следует начать заполнение файла – указать, для какого робота будут команды, для этого пишем в первой строчке:

    если ваши инструкции предназначены для роботов Яндекса:

    User-agent: yandex

    для роботов Google:

    User-agent: googlebot

    для всех роботов без исключения:

    User-agent: *

  • Директива Disallow и Allow

    Команда Disallow запрещает роботу индексировать тот или иной файл или папку.

    Например,

    запрещает индексировать файлы данной папки:

    Disallow: /cgi-bin/

    запрещает индексировать данный файл:

    Disallow: /company.html

    запрет на индексацию всего сайта:

    Disallow: /

    Проверьте ваш сайт – это одна из частых причин неиндексирования сайта.

    Важно! Неправильно указывать несколько директив в одной строчке:

    Disallow: /cgi-bin/ /cell/ /bot/

    Директива Allow наоборот – снимает запрет на индексацию некоторых файлов. Пример ее использования:

    User-agent: Yandex
    Allow: /cgi-binDisallow: /

    Такая запись в файле запрещает скачивать роботу Яндекса все, кроме страниц, начинающихся с '/cgi-bin'.

    Важно! Если в файле указали директиву, но не указали параметры для нее, значения будут такие:

    запрета на индексацию сайта нет:

    Disallow:

    весь сайт запрещен к индексации:

    Allow:

  • Директива sitemap

    Если у вас есть карта сайта в формате sitemaps.xml, укажите путь к ней в специальной директиве Sitemap (если файлов несколько, укажите все):

    Sitemap: http://site.ru/sitemaps1.xml
    Sitemap: http://site.ru/sitemaps2.xml

  • Директива Host

    Данная запись используется роботами Яндекса. Определите и укажите в директиве Host главное зеркало вашего сайта:

    Host: www.site.ru

    Часто начинающие вебмастера забывают, что сайт с www и без (www.site.ru и site.ru) являются зеркалами друг друга. Поэтому обязательно укажите, какой адрес является приоритетным с www или без.

    Директива Host не гарантирует выбор указанного главного зеркала, но Яндекс учитывает ее с высоким приоритетом.

Пример заполнения robots.txt

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /language/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Host: sait.ru
Sitemap: http://site.ru/sitemaps.xml

Проверка файла robots.txt

Для проверки получившегося файла можно воспользоваться Яндекс.Вебмастером. Или закажите у нас полный SEO-аудит, и мы проверим не только этот файл, но и остальные важные параметры. 

2
0
0
0
0

Сервис 1PS

Создаем и продвигаем сайты

© 1PS.RU, при полном или частичном копировании материала ссылка на первоисточник обязательна

SEO-гайд: 25 способов выйти в ТОП выдачи

В этом гайде вы найдете распространенные ошибки при продвижении сайта в интернете и узнаете, как получить наибольший эффект от SEO.

Рассматриваются три ключевых аспекта: семантика, структура и техническое состояние сайта, а также дополнительные факторы, влияющие на результаты продвижения.

Получить бонус

Популярные статьи

4 февраля 2021

Оптимизация блога: что делать, чтобы статьи в блоге занимали высокие позиции

Читать статью 14.8K 11 мин.
25 мая 2020

Полный гид по оптимизации мобильного сайта

Читать статью 17.8K 10 мин.
25 декабря 2024

Эффект от SEO-сопровождения: чего ждать и в какие сроки?

Читать статью 17.8K 7 мин.
24 июля 2024

SEO оптимизация сайта бесплатно: полная пошаговая инструкция

Читать статью 39.1K 9 мин.
26 мая 2020

Сервисы Google для бизнеса

Читать статью 40.2K 11 мин.
1 февраля 2019

На все руки мастер: полезные сервисы Яндекса. Часть 1

Читать статью 65.4K 14 мин.
3 февраля 2025

Что такое 301 редирект и как его правильно настроить

Читать статью 28.8K 12 мин.
13 июня 2019

Настройка robots.txt: что на сайте стоит спрятать от робота?

Читать статью 31.2K 5 мин.
7 июня 2024

Как найти и устранить битые ссылки на сайте

Читать статью 7.7K 8 мин.
18 января 2022

25 бизнес-моделей: что такое, зачем нужно и кому пригодится

Читать статью 34.2K 12 мин.
22 июня 2020

Турбо-страницы для интернет-магазинов

Читать статью 22.3K 12 мин.
21 сентября 2018

Операторы поисковых систем Google и Яндекс

Читать статью 177.4K 4 мин.

Все популярные статьи

Закрытый клуб для маркетологов и владельцев бизнеса. Оставьте запрос на вступление!

Бизнес-завтраки онлайн, эксклюзивные материалы, доступ к Обучающему центру.
Специальные предложения для своих. Бесплатно навсегда

250 000 участников сообщества каждую неделю получают письма от нас

Еженедельные полезные советы по продвижению бизнеса и эксклюзивные предложения абсолютно бесплатно – подайте заявку на вступление!

Услуги, которые могут вас заинтересовать

Регулярное SEO-продвижение с фиксированной оплатой за месяц. Полностью поменяли подход к SEO, чтобы вы увидели результат x8.

Стоимость:
от 29 500

Позволяет получить естественные ссылки на сайт, улучшает видимость сайта в поисковиках.

Стоимость:
-20% до 1 июляот 7 920 от 9 900

Привлечем новых клиентов текстами! Напишем качественные статьи, промаркируем их, разместим на сторонних площадках – вы получите большие охваты, рост узнаваемости и трафика на сайт.

Стоимость:
от 32 500

Смотреть все услуги Попробовать бесплатно

Ммм, куки (печеньки)

Cookie – это специальные файлы, которыми питается браузер 🍪 Файлы cookies позволяют «запоминать» посетителей, например, чтобы не переспрашивать у вас каждый раз логин и пароль :)

Пока вы продолжаете пользоваться нашим сайтом, мы будем собирать и хранить cookie, чтобы улучшить взаимодействие с вами, иначе все будет работать через пень-колоду.

Согласен