Фильтр АГС-40: как не вылететь из индекса

Более свежую и актуальную статью вы можете прочесть здесь. 

В ноябре 2013 мы получили много писем о том, что сайты выпадают из выдачи, просьбы о помощи и вопросы о том, как исправить ситуацию.

В большинстве случаев причиной повального выпадения сайтов стало обновление фильтра АГС, на смену АГС-30 пришел АГС-40. Сам фильтр был запущен еще в 2009 году и направлен на ограничение присутствия в выдаче некачественных сайтов, замеченных в продаже ссылок.

АГС — фильтр поисковой системы «Яндекс», призванный минимизировать фактор постороннего влияния на результат поисковой выдачи. С помощью данного алгоритма «Яндекс» заносит сайты в черный список.

Как было написано об этом в блоге Яндекса:

«Мы обновили алгоритм, чтобы он больше соответствовал современному состоянию рунета. Основной принцип при этом остался неизменным: новый классификатор также ориентирован на малополезные сайты, создаваемые, как правило, для продажи ссылок».

С обновления алгоритма прошло достаточно много времени. За это время мы смогли провести детальный анализ. Вот что выяснили: из выдачи пропали сайты, не только занимающиеся продажей ссылок, но и другой явно агрессивной монетизацией (злоупотребляющие рекламными блоками, партнерскими программами и прочим).

Правда, среди пострадавших от фильтра сайтов встречаются и те, которые не занимаются заработком на своем сайте. Т.е. продажа ссылок и заработок на своем сайте – не единственная причина наложения фильтра.

Изучив сайты, попавшие под фильтр, мы пришли к выводу, что: фильтр также накладывается на сайты, содержащие неуникальный или скучный и неинтересный контент. А также за контент, тема которого слишком заезжена – много раз фигурирует на других сайтах.

Как узнать, применен данный фильтр к сайту или нет?

Проведите небольшой анализ своего сайта с помощью соответствующего инструмента в вебмастере Яндекса (Индексирование сайта –> История –> Страницы в поиске) или, если учетная запись в вебмастере еще не создана, то просто пройдите по ссылке http://webmaster.yandex.ru/ и укажите адрес своего сайта в соответствующем поле.

Важна именно история индексирования, а не текущие данные. Если обнаружите, что ваш сайт частично или полностью выпал из индекса Яндекса (в индексе осталась одна главная страница и/или несколько внутренних, а на деле на сайте несколько десятков или сотен страниц) – скорее всего, к сайту был применен данный фильтр.

Если ничего не делать, сайт со временем может быть полностью заблокирован для индексирования Яндексом.

Нужно учитывать, что если сайт недавно был создан, возможно, он просто еще не проиндексирован целиком. Для ускорения его индексации лучше заказать регистрацию в каталогах. 

Справедливости ради стоит заметить, что с 15.04.2014 АГС-40 не удаляет сайты из выдачи, а обнуляет ТИЦ. 

Как не подвести свой сайт под фильтр?

1. Если не хотите, чтобы ваш сайт попал под данный фильтр – не переусердствуйте с использованием партнерских программ, блоков контекстной рекламы; осторожно размещайте ссылки на другие ресурсы и не забывайте о полезности контента. Помните, что исходящих ссылок должно быть минимум в 2 раза меньше, чем входящих. Старайтесь придерживаться этого простого правила.
2. Чтобы быть уверенным в уникальности контента – обязательно проверьте каждый текст своего сайта, даже если вы писали его самостоятельно буквально позавчера, например, с помощью сервиса content-watch. Уникальность должна быть выше 90%.
3. Чтобы быть уверенным в качестве текстов – доверяйте его написание профессиональным копирайтерам, а не покупайте за копейки на биржах копирайтинга. Темы должны быть не избитыми и интересными для ваших пользователей. Яндекс сейчас пессимизирует сайты за смысловую неуникальность (за отсутствие добавочной ценности). Чтобы занять хорошие позиции в Яндексе 100% уникальности текстов сейчас недостаточно. Сайт должен иметь свое Уникальное торговое предложение. И текстами должен заниматься не только копирайтер, но и маркетолог – именно поэтому у нас каждый текст пишется двумя специалистами и стоить такой текст никак не может 150 рублей.
4. Проверяйте, чтобы контент не дублировался. Некоторые CMS автоматически дублируют контент при размещении. Допустим, размещаете вы статью в блоге с указанием 10 разных тегов к ней, а статья автоматически дублируется 10 раз (такое встречается, в частности, на Wordpress). Проверить внешний дублированный контент можно с помощью сервиса antiplagiat.ru. Внутренний дублированный контент – тоже просто. В поисковую строку Google введите site: адрес сайта и 10 слов с указанной страницы, далее щелкните по ссылке «Показать скрытые результаты».
   
   
   Вы увидите все проиндексированные дубли. Обязательно запретите к индексации весь дублированный контент! Такими методами нужно проверить каждую страницу сайта.

Как вывести сайт из-под АГС-фильтра?

По заявлению Яндекса снятие АГС-40 будет проходить в автоматическом режиме. Наши советы по выводу из-под фильтра сведутся к выполнению рекомендаций «Как не подвести свой сайт под фильтр?», с которыми вы выше уже ознакомились.

Итак, исходя из нашей практики, для снятия фильтра требуется:

1. Удаление из индекса поисковиков дублированного контента. Для этого воспользуйтесь тегом rel="canonical" – просто поставьте этот тег в секцию <Head> дублированных страниц. <LINK rel="canonical" href="http://www.site.ru/real-adress/" > – укажите адрес страницы, которую поисковик должен принять за настоящий. Поместите этот тег на те страницы, которые не должны индексироваться.
   Важно! Есть некоторые случаи, когда поисковые системы могут проигнорировать данный тег. Например, каноническая страница переходит на страницу с 404 ошибкой или каноническая страница еще не проиндексирована, или является дубликатом другой канонической страницы, либо каноническая страница находится на другом домене.  В этом случае рекомендую воспользоваться 301-редиректом.
2. Изменение концепции сайта (например, переориентация сайта «все обо всем» на одну или несколько узких тематик).
3. Работа по улучшению поведенческих факторов. Постарайтесь понять, что на сайте работает не так. Закажите юзабилити-аудит сайта, если самостоятельно затрудняетесь определить это.
4. Наполнение сайта новым полезным и уникальным контентом – чем больше, тем лучше (но не менее 10 новых полезных статей). В идеале без привязки к конкретному целевому запросу.
5. Получение ссылок, в том числе с твиттера (Яндекс подписал прямое соглашение с Твиттером о мгновенной индексации), на новые статьи сайта.
6. Увеличение количества входящих ссылок по сравнению с исходящими – лучше с помощью регистрации в каталогах сайтов и статей, а не их покупкой на биржах.
7. Только после выполнения всего вышеперечисленного стоит писать в поддержку Яндекса слезное письмо Платону Щукину, с просьбой проверить сайт в ручном режиме.

Делайте полезные сайты для людей и никакие АГС-фильтры вам не будут страшны. В следующей статье разберем изменение № 5, которое касается и Яндекса, и Google: Отмена ссылок. 

О других изменениях можно узнать из первой статьи данного цикла  «Нововведения поисковых машин: как продвигать сайт в 2014».