Как удалить сайт или его отдельные страницы из поиска Яндекс и Googlе 

Неактуальное содержимое, закрытие ресурса, приостановка деятельности, обновление контента после покупки другого сайта. Да что угодно может послужить причиной для удаления сайта или его страниц из поиска. Этот мертвый груз в поиске не нужен, к тому же он может вводить людей в заблуждение. Также несуществующие страницы ухудшают продвижение в поисковой выдаче. Поэтому их лучше удалить из поиска вовсе.

Еще один важный аспект непопадания страниц в выдачу – это личные данные. Если вдруг на одной из страниц сайта есть чьи-то персональные данные, да даже просто ФИО с годом рождения, это может оказаться поводом для проблем, ведь не каждый хочет, чтобы в поиске красовались личные данные. Вконтакте, кстати, решили эту проблему: теперь человек сам выбирает, можно его найти в поиске Яндекс или Google или нет.

Решается это довольно просто: необходимо встроить на сайт авторизацию, через неё уж точно поисковые роботы пройти не смогут.

Зачастую несуществующие ссылки появляются в поиске из-за того, что пользователь не даёт наводку роботу о том, что страницы не существует. Страницу с сайта удалили, но не принудили сделать переобход роботом.

Так вот, ниже мы разберемся, как удалить свой сайт или отдельную его страницу из поиска Яндекс или Google.

Удаление сайта из поиска Google

Для этого потребуется аккаунт в Search Console с подтвержденными правами владельца сайта.

Google предоставляет 3 варианта удаления:

  • временный;
  • удаление сайта навсегда;
  • удаление сайта из-за нежелательного контента.

Рассмотрим каждый по отдельности.

Временное удаление сайта

Изначально Google предполагает удаление сайта из поиска Google на 6 месяцев, а также его описание и кэшированную версию. Нельзя по клику удалить сайт навсегда.

Для этого в Search Console переходим в раздел «Индекс» =>"Удаления" и нажимаем на кнопку «Создать запрос», далее вводим URL сайта или страницы, который нужно удалить из поиска.

раздел удаления в google search console

После клика по этой кнопке необходимо указать адрес страницы, который хотим удалить. Но если требуется ликвидировать весь сайт, то вводим его доменное имя.

запрос на удаление страницы в google search console

Google даст на выбор два варианта удаления:

  1. Скрыть страницу из выдачи и кэша поисковика (на 6 месяцев)
  2. Скрыть весь каталог и страницы, которые с ним связаны

Дополнительно проверяем, доступна ли удаляемая страница (если удаляем страницу отдельно) по другим адресам, если да, то проделываем вышенаписанные манипуляции и с ними. Отправленные запросы будут отображены на той же странице.

Важно понимать, что во время этого удаления Google продолжит сканировать страницы в штатном режиме, если пользователь не установит на неё пароль. По истечении срока страница появится в выдаче. Временное удаление можно включить повторно в этом же разделе.

Удаление страниц или сайта навсегда

Для удаления сайта навсегда из поиска Google нет волшебной кнопки, как для временного удаления, но Google рекомендует дополнительные меры:

  • Удалить или изменить контент ресурса и удостовериться в том, что веб-сервер отдает код статуса HTTP 404 (не найдено) или 410 (удалено)
  • Установить пароль, чтобы заблокировать доступ к контенту
  • С помощью метатега noindex запретить сканирование страницы: <meta name="googlebot" content="noindex«>
  • Документы в формате PDF рекомендуется удалять с сервера полностью

Удаление сайта из-за нежелательного контента

Если кого-то лично задел контент сайта (неприемлемое содержание, например), то можно наябедничать.

форма удаления содержания из google

Проходим по ссылке, выбираем продукт Google, где находится нежелательный контент.

выбор неприемлеемого контента

Далее выбираем причину блокировки и нажимаем на кнопку «Следуйте инструкциям на этой странице». И следом заполняем форму от Google.

форма заполнения данных неприемлемого сайта

Далее Google поблагодарит вас за содействие. В этом варианте нет какой-то формы отслеживания заявки. Придется вручную проверять доступность ресурса.

google благодарит за сообщение о спаме

Мы привели способы удалить сайт из поиска Google штатными средствами самих Google, теперь пора разобраться с Яндексом.

Удаление сайта из поиска Яндекс

В случае с Яндексом удаление страницы из поиска начинаем с robots.txt.

Если страница уже удалена с сайта, то прописываем директиву Disallow в robots.txt для User Agent Яндекса.

User-agent: Yandex

Disallow: /page

Далее настраиваем сервер так, чтобы при обращении робота к адресу страницы он отправлял статус с кодом 404 (Not Found), 403 (Frobidden) или 410 (Gone), для этого в файле .htaccess прописываем строку: ErrorDocument 404 http://example.com/404.html. и не забываем указать на странице, которую удаляем из поиска, метатег robots с директивой noindex в <head>:

<meta name="robots" content="noindex" />

Далее для ускорения удаления страницы переходим в Вебмастер с аккаунта с подтвержденными правами на доступ к управлению сайтом. Затем в раздел «Инструменты» и в «Удаление страниц из поиска» и вводим URL либо отдельной страницы, либо всего сайта. Этим мы сообщаем роботу, что данные страницы должны быть в приоритете при обходе роботом.

раздел в яндекс вебмастер удаление страниц

После этого можно отслеживать состояние статуса в данном разделе:

  • в очереди на добавление
  • в процессе
  • удалена
  • отклонено

После очередного обхода страниц роботу станет известно о запрете на индексирование, и страница пропадет из результатов поиска в течение нескольких дней. После этого адрес страницы отобразится в разделе Индексирование => Страницы в поиске Вебмастера в списке исключенных.

Другие способы удаления страниц сайта из поиска

Редиректы

Убираем страницу из поиска с помощью 301 и 302 редиректа (переадресации).

Если на сайте есть страница с неактуальным контентом, и этот контент актуальным явно не станет в будущем (товар больше не появится в продаже, например), то и индексировать этот URL больше не нужно, и, следовательно, нужно убрать его из поля взора поисковых роботов. Взамен этой показать пользователям другую, актуальную страницу. Здесь и спасет 301 и 302 редирект.

  • 301 редирект для навсегда удаленных или перемещенных страниц
  • 302 редирект для временно неактуальных страниц, которые останутся в поиске

Для настройки редиректа можно воспользоваться специальным сервисом, указав там нужные ссылки. В первом поле вводим URL старой страницы, с которой будет осуществляться переадресация, а во втором поле вводим URL новой страницы, на которую будет переадресация. Далее в файле .htaccess вставляем сгенерированный код и сохраняем.

генератор 301 редиректа

Метатег noindex

Noindex – сокрытие от поисковых ботов контента (целиком страницы или куска кода). Можно настроить для определенного бота, таким образом закрыть страницу от индексации отдельно для Яндекса или Google.

Устанавливается в HTML-коде страницы в <head>. Метатег блокирует работу ботов Яндекса и Google во время очередного обхода для вывода страницы в выдачу.

Прописывается noindex так:

  1. Ищем страницу, которую нужно скрыть. Открываем HTML-файл этой страницы и прописываем meta-тег:

    <meta name="robots" content="noindex"/>

    ...или...

    <meta name="yandex" content="noindex"/>

    <meta name="googlebot" content="noindex"/>

  2. Для определенного бота, если вдруг хотим запретить индексацию конкретно для робота Яндекса или Google.

  3. Далее сохраняем.

После этих манипуляций страница больше не будет выводиться в поиске, а роботы не будут обращать на неё внимание.

Также метатег noindex можно использовать совместно с тегом nofollow. Например, <meta name="robots" content="noindex, nofollow" /> дает запрет на индексацию контента на странице и запрещает роботам переходить по ссылкам.

Важно понимать, что для удаления контента может потребоваться не один день.

Disallow в robots.txt

Благодаря этой директиве в robots.txt пользователь дает указания роботу не посещать список внесенных страниц или всего ресурса. Обычно директиву используют для системных разделов, но если пользователю важно закрыть страницу с неактуальным контентом, то она подойдет.

Чтобы запретить индексацию всего сайта, достаточно в robots.txt прописать Disallow: /, если нужен запрет на определенную страницу, то пишем Disallow: /page

Если на эту страницу ссылаются другие страницы на сайте, то она может все равно быть проиндексирована, так что стоит обратить на это внимание заранее.

Также стоит помнить о том, что данные действия для поисковиков несут лишь рекомендательный характер для GoogleBot. Например, если на сайт есть внешние ссылки, то страница может быть проиндексирована.

Пароль на странице или разделе

Если раздел или сайт защитить паролем, то поисковики не смогут получить доступ к страницам, и из-за этого страницы не смогут попасть в индекс.

Вывод

На самом деле удалить страницу или даже сайт из поиска не так уж и трудно, главное – соблюдать некоторые правила, описанные выше. Также можно комбинировать эти способы.

Если у вас возникнут трудности при удалении страниц или сайта из поиска или любые другие технические проблемы, то всегда можно обратиться к нам – мы обязательно поможем. До  конца июля на любые доработки сайтов действует скидка до 20%. Оставить заявку на расчет.

© 1PS.RU, при полном или частичном копировании материала ссылка на первоисточник обязательна.

Понравилась статья?

4 чел. оценили, средняя оценка 5

Чек-лист для самостоятельного
SEO-аудита сайта

В рамках услуги SEO-аудит мы проанализировали более 1000 ресурсов. Ошибки на сайтах зачастую типичные – они повторяются из сайта в сайт. Проверьте свой самостоятельно.

Получить чек-лист

Популярные статьи

Все популярные статьи »

Комментарии (0)

Правила комментирования блога

Проверить позиции сайта

Запросы для проверки
Регион для проверки
Оставить коммент к статье

Летим с нами в ТОП

Подписывайтесь на рассылку и получайте практические советы по продвижению сайта

Ваш email

Нажимая на кнопку «Подписаться», вы соглашаетесь на обработку персональных данных

Я уже с вами

Мы понимаем, что всплывающие окна – это зло =( Но пока по-другому не получается предупредить вас об использовании куки-файлов на нашем сайте. Так мы с каждым днем будем становиться лучше и полезнее для вас!

×

Тяните за рычаг
и выигрывайте классные подарки

Главный приз – бесплатное продвижение сайта в течение 1 месяца!

Введите свой email и нажмите на кнопку

Да вы настоящий везунчик!

Активировать выигрыш

Повезет в любви! =)

Но не вешайте нос – попытайте удачу еще раз.

Сыграть заново

Закрыть и не показывать больше