Дублированный контент. Пора устранить вредоносных клонов!

11 марта 2015
87.5K
4 мин.
Что такое дублированный контент?

Дублированный контент или просто дубли – это страницы на вашем сайте, которые полностью (четкие дубли) или частично (нечеткие дубли) совпадают друг с другом, но каждая из них имеет свой URL. Одна страница может иметь как один, так и несколько дублей.

Как появляется дублированный контент на сайте?

Как для четких, так и для нечетких дублей есть несколько причин возникновения. Четкие дубли могут возникнуть по следующим причинам:

  1. Они появляются из-за CMS сайта. Например, с помощью replytocom в WordPress, когда добавление новых комментариев создает автоматом и новые страницы, отличающиеся только URL.
  2. В результате ошибок веб-мастера.
  3. Из-за изменения структуры сайта. Например, при внедрении обновленного шаблона с новыми URL.
  4. Делаются владельцем сайта для определенных функций. Например, страницы с версиями текста для печати.

Нечеткие дубли на вашем сайте могут появиться по следующим причинам:

  1. Если есть частичное повторение одинакового текста на разных страницах сайта.

    На примере показан анализ текста с главной страницы сайта в программе проверки уникальности «Text.ru». На картинке видно, с какими еще страницами этого же сайта и на сколько процентов он совпадает:

  2. Из-за страниц пагинации, когда в одном разделе несколько страниц.

    Пример страниц пагинации. Они находятся под цифрами 1, 2, 3 и т. д. Такое можно встретить, например, в блогах, где много статей или в многостраничных каталогах. И чтобы бесконечно не скролить вниз, делается их разбивка на внутренние страницы по номерам:

Почему дублированный контент вредит сайту?
  1. Негативно влияет на продвижение в поисковой выдаче. Поисковые роботы отрицательно относятся к дублированному контенту и могут понизить позиции в выдаче из-за отсутствия уникальности, а следовательно, и полезности для клиента. Нет смысла читать одно и то же на разных страницах сайта.
  2. Может подменить истинно-релевантные страницы. Робот может выбрать для выдачи дублированную страницу, если посчитает ее содержание более релевантным запросу. При этом у дубля, как правило, показатели поведенческих факторов и/или ссылочной массы ниже, чем у той страницы, которую вы целенаправленно продвигаете. А это значит, что дубль будет показан на худших позициях.
  3. Ведет к потере естественных ссылок. Когда пользователь делает ссылку не на прототип, а на дубль.
  4. Способствует неправильному распределению внутреннего ссылочного веса. Дубли перетягивают на себя часть веса с продвигаемых страниц, что также препятствует продвижению в поисковиках.
Как проверить, есть у вас дубли или нет?

Чтобы узнать, есть у страниц сайта дубли или нет, существует несколько способов.

  1. Проверка через расширенный поиск (например, yandex.ru/advanced.html). Для этого просто вбиваете адрес сайта и фрагмент текста со страницы, контент которой надо проверить на дубли, в соответствующие поля формы и смотрите результат. Если в выдаче появилась только одна страница, то дублей нет. Если результатов больше, это говорит о том, что у страницы сайта все такие есть дубли, и с этим надо что-то делать.

    На примере показано, что у страницы сайта нашлось несколько дублей через расширенный поиск Яндекс

  2. Проверка через программы оценивания уникальности (например, «Text.ru»). Итоги проверки покажут вам, с какими сайтами и их внутренними страницами совпадает анализируемый текст и на сколько процентов.

    На примере видно, с какими внутренними страницами и на сколько процентов совпадает контент анализируемой страницы. Анализ проводится через сайт text.ru:

Нашли дубли? Читаем, как их обезвредить:
  1. 301-й редирект. Этот способ считается самым надежным при избавлении от лишних дублей на вашем сайте. Суть метода заключается в переадресации поискового робота со страницы-дубля на основную. Таким образом, робот проскакивает дубль и работает только с нужной страницей сайта. Со временем, после настройки 301-ого редиректа, страницы дублей склеиваются и выпадают из индекса.
  2. Тег <link rel= "canonical">. Здесь мы указываем поисковой системе, какая страница у нас основная, предназначенная для индексации. Для этого на каждом дубле надо вписать специальный код для поискового робота <link rel="canonical" href="http://www.site.ru/original-page.html">, который будет содержать адрес основной страницы. Чтобы не делать подобные работы вручную, существуют специальные плагины.
  3. Disallow в robots.txt. Файл robots.txt – своеобразная инструкция для поискового робота, в которой указано, какие страницы нужно индексировать, а какие нет. Для запрета индексации и борьбы с дублями используется директива Disallow. Здесь, как и при настройке 301-го редиректа, важно правильно прописать запрет.
Как убрать дубли из индекса поисковых систем?

Что касается Яндекса, то он самостоятельно убирает дубли из индекса при правильной настройке файла robots.txt. А вот для Google надо прописывать правила во вкладке «Параметры URL» через Google Вебмастер.

Если у вас возникнут трудности с проверкой и устранением дублированного контента, вы всегда можете обратиться к нашим специалистам. Мы найдем все подозрительные элементы, настроим 301-й редирект, robots.txt, rel= "canonical", сделаем настройки в Google. В общем, проведем все работы, чтобы ваш сайт эффективно работал.

4
0
0
1
0

Екатерина Иова

SMM-специалист

© 1PS.RU, при полном или частичном копировании материала ссылка на первоисточник обязательна

1PS.RU – 24 года!

Приходите на кибервечеринку и получайте подарки!

Подробнее

Популярные статьи

Все популярные статьи

Закрытый клуб для маркетологов и владельцев бизнеса. Оставьте запрос на вступление!

Бизнес-завтраки онлайн, эксклюзивные материалы, доступ к Обучающему центру.
Специальные предложения для своих. Бесплатно навсегда

250 000 участников сообщества каждую неделю получают письма от нас

Еженедельные полезные советы по продвижению бизнеса и эксклюзивные предложения абсолютно бесплатно – подайте заявку на вступление!

Услуги, которые могут вас заинтересовать

Полный глубокий анализ сайта, аналогов которого нет на рынке. Проверим сайт по более 40 параметрам, ошибки разметим по степени критичности.

Стоимость:
от 12 000

Регулярное SEO-продвижение с фиксированной оплатой за месяц. Полностью поменяли подход к SEO, чтобы вы увидели результат x8.

Стоимость:
от 29 500

Позволяет получить естественные ссылки на сайт, улучшает видимость сайта в поисковиках.

Стоимость:
-20% до 20 октябряот 7 120 от 8 900

Смотреть все услуги Попробовать бесплатно

Ммм, куки (печеньки)

Cookie – это специальные файлы, которыми питается браузер 🍪 Файлы cookies позволяют «запоминать» посетителей, например, чтобы не переспрашивать у вас каждый раз логин и пароль :)

Пока вы продолжаете пользоваться нашим сайтом, мы будем собирать и хранить cookie, чтобы улучшить взаимодействие с вами, иначе все будет работать через пень-колоду.

Согласен