Индексация сайта: статистика страниц в поиске, или почему поисковики игнорируют ваш сайт 

Чтобы предоставить в выдаче релевантный ответ на поисковый запрос пользователя, боту сначала нужно найти в базе подходящую страницу. Пока страница не будет добавлена в базу, она не учувствует в поисковой выдаче. Процесс добавления страниц сайта в поисковую базу называется индексацией. Именно из-за нее только созданные сайты не будут сразу показываться в выдаче. То же самое касается и вновь созданных страниц.

Как добавить новый сайт в Яндекс и Google, мы уже рассказывали в блоге, обязательно к прочтению всем начинающим вебмастерам.

Кратко воспроизведу основные действия:

  • Добавляем сайт в Вебмастер
  • Создаем карту сайта
  • Загружаем карту в Вебмастер
  • Ждем
  • Ждем
  • ...

А ждать можно долго. Тут как в почтовом отделении после распродажи на День холостяка: «Вас много, а я одна». Как обойти очередь из таких же желающих попасть в поиск и ускорить индексацию сайта?

В Яндекс.Вебмастере есть специальный инструмент — «Переобход страниц». Раздел располагается во вкладке «Индексирование»:

переобход страниц

Сюда мы добавляем 20 самых важных страниц, которые следует проиндексировать в приоритетном порядке. Если у вас интернет-магазин, я рекомендую взять основные категории товаров + несколько самых популярных товаров. Главную страницу сюда можно не включать, она и так будет проиндексирована в первую очередь. Максимум в течение 3 суток заявка на индексацию будет обработана. В день можно добавлять не более 20 страниц.

В Google Search Console индексацию можно ускорить через инструмент – «Проверка URL».

Проверить URL Google

Вводим адрес страницы в строку, информация об индексации сразу выводится на первом экране. Нажимаем кнопку — «Запросить индексирование»:

Запрос индексации Google

Ещё один полезный способ ускорить индексацию — рассказать о своём сайте на других популярных ресурсах. Используйте социальные сети, зарегистрируйте сайт на картах Яндекс и Google. Разместите информацию о компании в популярных справочниках организаций. Чем больше на ваш сайт будет внешних ссылок, тем быстрее бот узнает о вас.

Что ещё влияет на скорость индексации сайта?

Для каждого сайта у поисковика есть свой так называемый краулинговый бюджет. Это число страниц, которые поисковик способен проанализировать за определенное время. Чтобы не тратить бюджет впустую, очень важно сообщить боту, какие страницы нужно сканировать, а какие можно просто пропустить.

Правильная настройка файла Robots.txt

Файл robots.txt — текстовый документ, располагающийся в корне сайта со строгими инструкциями индексации для поисковых ботов.

Файл всегда должен располагаться по адресу адресвашегосайта/robots.txt. К примеру, так выглядит наш файл robots.txt - https://1ps.ru/robots.txt

файл robots.txt

Файл содержит правила индексации и директивы для поисковых роботов. Какие страницы не следует индексировать, как часто можно индексировать сайт, где располагается карта сайта и т.д. В файле обязательно нужно прописать, какие страницы не следует индексировать. Это все служебные страницы сайта — страница входа в админку, страницы личного кабинета, страница поиска и т.д. Так робот не будет тратить время на индексацию мусорных страниц, не участвующих в продвижении. Подробную статью о том, что скрыть от поисковых роботов, написал мой коллега Дмитрий. Рекомендую к прочтению.

Настройка карты сайта

Карта сайта — отдельная страница либо файл, где перечислены все разделы, подразделы, статьи. Напоминает каталог, в котором зафиксированы все страницы сайта со ссылками на эти самые статьи.

В xml карте сайта должны быть указаны адреса всех страниц, участвующих в продвижении сайта.

Карта сайта должна автоматически обновляться при добавлении новых страниц. Это позволит быстрее сообщать ботам об изменениях. Как создать и правильно настроить карту сайта, я подробно расписал в этой статье.

Структура сайта. Внутренняя перелинковка

При индексации сайта поисковый бот переходит от страницы к странице, анализируя контент сайта. Наша задача – облегчить маршрут бота, выстилая ему красную дорожку к следующей странице.

Если вложенность страниц сайта больше двух, обязательно используйте хлебные крошки с микроразметкой. Так боты понимают целостную структуру сайта, что ускоряет индексацию.

Пример хлебных крошек в нашем блоге:

хлебные крошки

В карточках товаров добавьте раздел «С этим товаром часто ищут» или «Вам может это понравиться» и т.п.

Дополнительный раздел в карточке товара

В информационных статьях давайте ссылки на перекрёстные статьи из блога, страницы заказа услуг и т.п. Это увеличит глубину просмотра и упростит индексацию сайта ботам.

ссылки на перекрёстные статьи из блога

Как узнать, какие страницы проиндексированы поисковой системой?

Через оператор site: в поисковом запросе

Самый простой способ узнать примерное количество страниц в поисковой выдаче – набрать в поисковой строке адрес сайта, используя оператор site:адресвашегосайта.ру. Адрес сайта лучше указывать без протокола http/https, без использования www.

как узнать какие страницы проиндексированы в Яндекс

И аналогично в Google:

как узнать какие страницы проиндексированы в Google

Количество проиндексированных страниц в Яндекс и Google должно примерно совпадать. Если где-то наблюдается явный перекос, возможно, сайт индексируется неправильно. Если у вас такая проблема — пишите нам, обязательно разберемся, в чем именно проблема.

Также можно проверить индексацию одной определенной страницы. Для этого используется оператор url:адресстраницы

Как узнать проиндексирована страница или нет

Если в результатах выдачи пусто — страница отсутствует в индексе.

Через вебмастера Яндекс и Google.

Информация из первых рук. Только в вебмастерах можно определить точное количество просканированных страниц, страниц в поиске, исключенных страниц из выдачи.

В Яндекс.Вебмастере этому посвящён целый раздел – «Индексирование».

Индексирование Яндекс.Вебмастер

Узнать общее количество страниц в индексе можно в подразделе — «Страницы в поиске». Наводим на графике мышкой на текущее число – там мы увидим общее число проиндексированных страниц, количество проиндексированных страниц из каждого подраздела сайта.

количество проиндексированных страниц в Яндекс

В Google Search Console переходим в раздел «Индекс» - «Покрытие».

Количество проиндексированных страниц в Google

Почему страница может быть исключена из поиска?

Но не все страницы сайта попадают в индекс. Часть страниц может быть исключена по тем или иным причинам. Найти список исключенных страниц можно в Вебмастерах. В Яндекс это раздел — «Исключенные страницы»:

исключенные страницы в Яндекс

В Google – раздел «Исключено»:

исключенные страницы в Google

Причину, почему была удалена страница из поиска, также можно посмотреть в Вебмастере. Чаще всего страницы исключаются как дублированный контент, недостаточно качественная страница, ошибка HTTP в ответе сервера. Полный список всегда можно найти в справке.

Если страница сайта не содержит полезного контента для пользователя, либо контент скопирован с другого ресурса — такая страница может быть признана недостаточно качественной. Все некачественные страницы, по мнению поисковых систем, исключаются из поисковой выдачи до следующего переобхода. Если на страницу давно не заходили живые пользователи, она также может быть признана некачественной.

Очень важно следить за наполнением каждой страницы сайта, участвующей в поисковом продвижении.

Как узнать какие страницы дают трафик, а какие пользователи игнорируют?

Подробный отчет обо всех страницах входа на сайт из поисковой выдачи можно найти в Яндекс.Метрике. Раздел «Отчёты» — «Стандартные отчёты» — «Содержание» — «Страницы входа».

Страницы входа

По каждой странице отображается информация о количестве визитов, посетителях, проценте отказов, глубине просмотра и общем времени по выбранной странице. Анализ проведенного времени на сайте и количества отказов станет отличным помощником в улучшении юзабилити сайта. Процент отказов больше 25% говорит нам о том, что со страницей точно не все в порядке, и каждый 4 посетитель уходит с сайта.

Информацию о показах и кликах по каждой странице можно найти в Яндекс.Вебмастере. Раздел «Поисковые запросы» — «Статистика страниц».

CTR страницы в Яндекс

Используйте информацию для улучшения сниппета сайта. Большое количество показов без кликов говорит о том, что сниппет страницы не привлекает пользователей, и все клики достаются конкурентам.

Страница попала в индекс, но трафика нет, что делать?

После добавления сайта в поисковую выдачу каждая страница соревнуется с миллионами подобных страниц с других ресурсов. Чтобы получать хороший поисковый трафик, следует сделать сайт релевантным запросам пользователей и удобным для них.

Начинаем с заполнения тегов, составляем семантическое ядро, пишем уникальный и полезный для пользователей текст. Анализируем навигацию, дизайн. На сайте не должно быть технических ошибок, мешающих продвижению. Исследуем конкурентов. Список работ можно продолжать бесконечно. У нас в блоге есть очень полезная статья от Ирины «Как получить трафик на сайт из поисковых систем».

Если после всех работ трафик так и не появился, возможно, проблема скрыта глубже и потребуется более детальное рассмотрение. Рекомендуем заказать аудит – будем разбираться.

Правильная индексация сайта – очень важный момент в продвижении сайта. Не забывайте проверять, сколько страниц находится в поиске, какие страницы были удалены и почему. Одно неверное правило в robots, и сайт полностью пропадет из индекса поисковых систем. А это самый страшный сон любого вебмастера!

© 1PS.RU, при полном или частичном копировании материала ссылка на первоисточник обязательна.

Понравилась статья?

Чек-лист «Готов ли ваш сайт к продвижению»

Казалось бы, базовые вещи... Однако у многих сайтов наличие технических проблем, мешающих продвижению, не редкость. Проверьте нет ли у вашего сайта таких элементарных ошибок.

Получить чек-лист

Популярные статьи

Все популярные статьи »

Комментарии (0)

Правила комментирования блога

Проверить позиции сайта

Запросы для проверки
Регион для проверки
Оставить коммент к статье

Летим с нами в ТОП

Подписывайтесь на рассылку и получайте практические советы по продвижению сайта

Ваш email

Нажимая на кнопку «Подписаться», вы соглашаетесь на обработку персональных данных

Я уже с вами

Для повышения удобства сайта мы используем cookies. Оставаясь на сайте, вы соглашаетесь с политикой их применения.

×
Курс по
видеорекламе
Попробуй еще разок
Контент для соцсетей
за полцены
Аудит SERM
Повезет в любви
3 000 руб.
на обучение
10% на любую
услугу
Увы и ах...
План продвижения
сайта
Эх, мимо
Аудит рекламы
за полцены
Таргетированная
реклама на 10 000 р.

Колесо фортуны –
крутите и выигрывайте подарки!

Введите свой email и нажмите на кнопку

Email

Поздравляем!

Активировать выигрыш

Не вешать нос!
Попробуйте еще разок

Сыграть заново
Закрыть и не показывать больше