Дублированный контент. Пора устранить вредоносных клонов!

11 марта 2015 (обновлено 16 февраля 2018)
90.9K
4 мин.
Что такое дублированный контент?

Дублированный контент или просто дубли – это страницы на вашем сайте, которые полностью (четкие дубли) или частично (нечеткие дубли) совпадают друг с другом, но каждая из них имеет свой URL. Одна страница может иметь как один, так и несколько дублей.

Как появляется дублированный контент на сайте?

Как для четких, так и для нечетких дублей есть несколько причин возникновения. Четкие дубли могут возникнуть по следующим причинам:

  1. Они появляются из-за CMS сайта. Например, с помощью replytocom в WordPress, когда добавление новых комментариев создает автоматом и новые страницы, отличающиеся только URL.
  2. В результате ошибок веб-мастера.
  3. Из-за изменения структуры сайта. Например, при внедрении обновленного шаблона с новыми URL.
  4. Делаются владельцем сайта для определенных функций. Например, страницы с версиями текста для печати.

Нечеткие дубли на вашем сайте могут появиться по следующим причинам:

  1. Если есть частичное повторение одинакового текста на разных страницах сайта.

    На примере показан анализ текста с главной страницы сайта в программе проверки уникальности «Text.ru». На картинке видно, с какими еще страницами этого же сайта и на сколько процентов он совпадает:

  2. Из-за страниц пагинации, когда в одном разделе несколько страниц.

    Пример страниц пагинации. Они находятся под цифрами 1, 2, 3 и т. д. Такое можно встретить, например, в блогах, где много статей или в многостраничных каталогах. И чтобы бесконечно не скролить вниз, делается их разбивка на внутренние страницы по номерам:

Почему дублированный контент вредит сайту?
  1. Негативно влияет на продвижение в поисковой выдаче. Поисковые роботы отрицательно относятся к дублированному контенту и могут понизить позиции в выдаче из-за отсутствия уникальности, а следовательно, и полезности для клиента. Нет смысла читать одно и то же на разных страницах сайта.
  2. Может подменить истинно-релевантные страницы. Робот может выбрать для выдачи дублированную страницу, если посчитает ее содержание более релевантным запросу. При этом у дубля, как правило, показатели поведенческих факторов и/или ссылочной массы ниже, чем у той страницы, которую вы целенаправленно продвигаете. А это значит, что дубль будет показан на худших позициях.
  3. Ведет к потере естественных ссылок. Когда пользователь делает ссылку не на прототип, а на дубль.
  4. Способствует неправильному распределению внутреннего ссылочного веса. Дубли перетягивают на себя часть веса с продвигаемых страниц, что также препятствует продвижению в поисковиках.
Как проверить, есть у вас дубли или нет?

Чтобы узнать, есть у страниц сайта дубли или нет, существует несколько способов.

  1. Проверка через расширенный поиск (например, yandex.ru/advanced.html). Для этого просто вбиваете адрес сайта и фрагмент текста со страницы, контент которой надо проверить на дубли, в соответствующие поля формы и смотрите результат. Если в выдаче появилась только одна страница, то дублей нет. Если результатов больше, это говорит о том, что у страницы сайта все такие есть дубли, и с этим надо что-то делать.

    На примере показано, что у страницы сайта нашлось несколько дублей через расширенный поиск Яндекс

  2. Проверка через программы оценивания уникальности (например, «Text.ru»). Итоги проверки покажут вам, с какими сайтами и их внутренними страницами совпадает анализируемый текст и на сколько процентов.

    На примере видно, с какими внутренними страницами и на сколько процентов совпадает контент анализируемой страницы. Анализ проводится через сайт text.ru:

Нашли дубли? Читаем, как их обезвредить:
  1. 301-й редирект. Этот способ считается самым надежным при избавлении от лишних дублей на вашем сайте. Суть метода заключается в переадресации поискового робота со страницы-дубля на основную. Таким образом, робот проскакивает дубль и работает только с нужной страницей сайта. Со временем, после настройки 301-ого редиректа, страницы дублей склеиваются и выпадают из индекса.
  2. Тег <link rel= "canonical">. Здесь мы указываем поисковой системе, какая страница у нас основная, предназначенная для индексации. Для этого на каждом дубле надо вписать специальный код для поискового робота <link rel="canonical" href="http://www.site.ru/original-page.html">, который будет содержать адрес основной страницы. Чтобы не делать подобные работы вручную, существуют специальные плагины.
  3. Disallow в robots.txt. Файл robots.txt – своеобразная инструкция для поискового робота, в которой указано, какие страницы нужно индексировать, а какие нет. Для запрета индексации и борьбы с дублями используется директива Disallow. Здесь, как и при настройке 301-го редиректа, важно правильно прописать запрет.
Как убрать дубли из индекса поисковых систем?

Что касается Яндекса, то он самостоятельно убирает дубли из индекса при правильной настройке файла robots.txt. А вот для Google надо прописывать правила во вкладке «Параметры URL» через Google Вебмастер.

Если у вас возникнут трудности с проверкой и устранением дублированного контента, вы всегда можете обратиться к нашим специалистам. Мы найдем все подозрительные элементы, настроим 301-й редирект, robots.txt, rel= "canonical", сделаем настройки в Google. В общем, проведем все работы, чтобы ваш сайт эффективно работал.

5
0
0
1
0

Екатерина Иова

SMM-специалист

© 1PS.RU, при полном или частичном копировании материала ссылка на первоисточник обязательна

SEO-гайд: 25 способов выйти в ТОП выдачи

В этом гайде вы найдете распространенные ошибки при продвижении сайта в интернете и узнаете, как получить наибольший эффект от SEO.

Рассматриваются три ключевых аспекта: семантика, структура и техническое состояние сайта, а также дополнительные факторы, влияющие на результаты продвижения.

Получить бонус

Популярные статьи

22 сентября 2018

Что лучше: SEO-продвижение или контекстная реклама?

Читать статью 38.5K 10 мин.
5 апреля 2024

Пошаговое руководство, как вывести сайт на Tilda в топ поисковых систем

Читать статью 4.5K 5 мин.
28 ноября 2018

Стратегия продвижения: ТОП-3 лучших стратегий

Читать статью 62.5K 18 мин.
1 августа 2018

Витаминки для SEO: 10 неочевидных методов, влияющих на рост трафика

Читать статью 23.2K 8 мин.
11 января 2021

SEO-аудит сайта самостоятельно: анализ и проверка оптимизации сайта

Читать статью 102.9K 20 мин.
14 февраля 2024

24 способа увеличить посещаемость сайта

Читать статью 4K 7 мин.
25 мая 2020

Полный гид по оптимизации мобильного сайта

Читать статью 17.9K 10 мин.
26 мая 2020

Сервисы Google для бизнеса

Читать статью 40.3K 11 мин.
25 декабря 2024

Эффект от SEO-сопровождения: чего ждать и в какие сроки?

Читать статью 17.9K 7 мин.
18 января 2022

25 бизнес-моделей: что такое, зачем нужно и кому пригодится

Читать статью 34.3K 12 мин.
28 августа 2024

SEO-сопровождение сайта: кому это выгодно?

Читать статью 9.3K 5 мин.
9 апреля 2021

Как привлечь клиентов на сайт: 7 стратегий быстрого привлечения заказчиков

Читать статью 22.3K 13 мин.

Все популярные статьи

Закрытый клуб для маркетологов и владельцев бизнеса. Оставьте запрос на вступление!

Бизнес-завтраки онлайн, эксклюзивные материалы, доступ к Обучающему центру.
Специальные предложения для своих. Бесплатно навсегда

250 000 участников сообщества каждую неделю получают письма от нас

Еженедельные полезные советы по продвижению бизнеса и эксклюзивные предложения абсолютно бесплатно – подайте заявку на вступление!

Услуги, которые могут вас заинтересовать

Регулярное SEO-продвижение с фиксированной оплатой за месяц. Полностью поменяли подход к SEO, чтобы вы увидели результат x8.

Стоимость:
от 29 500

Позволяет получить естественные ссылки на сайт, улучшает видимость сайта в поисковиках.

Стоимость:
от 9 900

Привлечем новых клиентов текстами! Напишем качественные статьи, промаркируем их, разместим на сторонних площадках – вы получите большие охваты, рост узнаваемости и трафика на сайт.

Стоимость:
от 32 500

Смотреть все услуги Попробовать бесплатно