Акция
Акция

Все о robots.txt 

robots.txt – это обычный текстовый файл, размещенный на сайте и предназначенный для роботов поисковых систем. В этом файле можно указать параметры индексирования своего сайта для всех роботов поисковых систем сразу или для каждой поисковой системы по отдельности.

Все поисковые роботы при заходе на сайт в первую очередь ищут файл robots.txt.

Как создать?

Сделать файл robots.txt очень просто – создаете обычный текстовый документ, называете его robots, не ошибитесь в регистре букв или в самих буквах, название должно быть именно такое. Если не планируете запрещать индексирование страниц сайта, можно созданный файл оставить пустым. Если планируете – просто заполняете документ в соответствии с принятыми в 1994 году общими стандартами. После этого необходимо загрузить файл в корневой каталог вашего сайта, чтобы файл открывался по ссылке http://www.site.ru/robots.txt . Всё.

Что закрывать от индексации?

Вообще от индексации рекомендуется закрыть все страницы с неуникальным контентом, страницы с результатами поиска по сайту, страницы авторизации и другие технические страницы, которые не должны участвовать в поисковой выдаче.

Правила заполнения файла robots.txt

Итак, в файле robots.txt каждая команда или директива должна прописываться отдельной строкой. Число команд не ограничено.

  • Директива user-agent

    Первое, с чего следует начать заполнение файла – указать, для какого робота будут команды, для этого пишем в первой строчке:

    если ваши инструкции предназначены для роботов Яндекса:

    User-agent: yandex

    для роботов Google:

    User-agent: googlebot

    для всех роботов без исключения:

    User-agent: *

  • Директива Disallow и Allow

    Команда Disallow запрещает роботу индексировать тот или иной файл или папку.

    Например,

    запрещает индексировать файлы данной папки:

    Disallow: /cgi-bin/

    запрещает индексировать данный файл:

    Disallow: /company.html

    запрет на индексацию всего сайта:

    Disallow: /

    Проверьте ваш сайт – это одна из частых причин неиндексирования сайта.

    Важно! Неправильно указывать несколько директив в одной строчке:

    Disallow: /cgi-bin/ /cell/ /bot/

    Директива Allow наоборот – снимает запрет на индексацию некоторых файлов. Пример ее использования:

    User-agent: Yandex
    Allow: /cgi-binDisallow: /

    Такая запись в файле запрещает скачивать роботу Яндекса все, кроме страниц, начинающихся с '/cgi-bin'.

    Важно! Если в файле указали директиву, но не указали параметры для нее, значения будут такие:

    запрета на индексацию сайта нет:

    Disallow:

    весь сайт запрещен к индексации:

    Allow:

  • Директива sitemap

    Если у вас есть карта сайта в формате sitemaps.xml, укажите путь к ней в специальной директиве Sitemap (если файлов несколько, укажите все):

    Sitemap: http://site.ru/sitemaps1.xml
    Sitemap: http://site.ru/sitemaps2.xml

  • Директива Host

    Данная запись используется роботами Яндекса. Определите и укажите в директиве Host главное зеркало вашего сайта:

    Host: www.site.ru

    Часто начинающие вебмастера забывают, что сайт с www и без (www.site.ru и site.ru) являются зеркалами друг друга. Поэтому обязательно укажите, какой адрес является приоритетным с www или без.

    Директива Host не гарантирует выбор указанного главного зеркала, но Яндекс учитывает ее с высоким приоритетом.

Пример заполнения robots.txt

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /language/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Host: sait.ru
Sitemap: http://site.ru/sitemaps.xml

Проверка файла robots.txt

Для проверки получившегося файла можно воспользоваться Яндекс.Вебмастером. Или закажите у нас полный SEO-аудит, и мы проверим не только этот файл, но и остальные важные параметры. 

1
0
0
0
0

© 1PS.RU, при полном или частичном копировании материала ссылка на первоисточник обязательна

Чек-лист для самостоятельного
SEO-аудита сайта

В рамках услуги SEO-аудит мы проанализировали более 1000 ресурсов. Ошибки на сайтах зачастую типичные – они повторяются из сайта в сайт. Проверьте свой самостоятельно.

Получить чек-лист
Комментарии для сайта Cackle

Популярные статьи

Все популярные статьи »

Проверить позиции сайта

Запросы для проверки
Регион для проверки
Акция

Полетели к ТОПу!

Раз в неделю получайте советы, свежие статьи, информацию для владельцев бизнеса, SEO-специалистов и маркетологов.

Более 250 000 человек уже с нами!
Или подпишитесь на нас:

Пссс, интересуетесь маркетингом?

Подписывайтесь на наш Telegram-канал, где мы обсуждаем все новинки digital-сферы, рассказываем секреты успешного продвижения бизнеса и делимся тайными скидками. Присоединяйтесь!

Подписаться

Мы понимаем, что всплывающие окна – это зло =( Но пока по-другому не получается предупредить вас об использовании куки-файлов на нашем сайте. Так мы с каждым днем будем становиться лучше и полезнее для вас!

×
Маркетинг

33 бесплатных инструмента для интернет-маркетолога

Реклама

Книга «Анатомия маркетинговой акции»

Продвижение сайтов

Чек-лист для SEO-аудита сайта своими руками

Социальные сети

Советы по продвижению бизнеса в соцсетях

Работа с репутацией

Инфографика «Важные факты об управлении репутацией»

Маркетплейсы

Чек-лист «Рекомендации по контенту на маркетплейсах»

И ещё 14 полезных материалов по этим категориям!

Базовый набор Digital-специалиста

20 бесплатных и полезных «плюшек» для маркетологов и владельцев бизнеса

Введи свой email и получи 20 «плюшек»

Закрыть и не показывать больше