Индексация – процесс внесения информации в базу поисковика. Только после индексации страница может быть найдена в результатах поиска.
Индексация сайтов производится поисковыми роботами (боты, пауки).
Управление индексацией
Владельцы сайта могут ускорить индексацию своего ресурса поисковыми роботом, добавив свой сайт в специальные сервисы, предоставляемые поисковиками:
В этих же сервисах можно узнать, какие страницы вашего сайта уже проиндексированы, а какие еще нет. Также можно отправить запрос на удаление из результатов поиска страниц, которые не должны были индексироваться или неактуальных страниц.
Как запретить индексацию
Существуют следующие способы запретить индексацию страниц поисковыми роботами.
- использование директив Allow и Disallow в файле robots.txt.
- использование тега <noindex> и аттрибута <nofollow>
Обычно запрещается индексация служебных страниц, которые не нужно включать в индекс поиска, а также для дублей страниц, которые в большом количестве создают различные CMS, к примеру WodrPress и Joomla. Закрывая дубли страниц от индексации, вы обезопасите себя от санкций поисковых систем за дублированный контент.
