Дублированный контент. Пора устранить вредоносных клонов!

11 марта 2015 (обновлено 16 февраля 2018)
91.1K
4 мин.
Что такое дублированный контент?

Дублированный контент или просто дубли – это страницы на вашем сайте, которые полностью (четкие дубли) или частично (нечеткие дубли) совпадают друг с другом, но каждая из них имеет свой URL. Одна страница может иметь как один, так и несколько дублей.

Как появляется дублированный контент на сайте?

Как для четких, так и для нечетких дублей есть несколько причин возникновения. Четкие дубли могут возникнуть по следующим причинам:

  1. Они появляются из-за CMS сайта. Например, с помощью replytocom в WordPress, когда добавление новых комментариев создает автоматом и новые страницы, отличающиеся только URL.
  2. В результате ошибок веб-мастера.
  3. Из-за изменения структуры сайта. Например, при внедрении обновленного шаблона с новыми URL.
  4. Делаются владельцем сайта для определенных функций. Например, страницы с версиями текста для печати.

Нечеткие дубли на вашем сайте могут появиться по следующим причинам:

  1. Если есть частичное повторение одинакового текста на разных страницах сайта.

    На примере показан анализ текста с главной страницы сайта в программе проверки уникальности «Text.ru». На картинке видно, с какими еще страницами этого же сайта и на сколько процентов он совпадает:

  2. Из-за страниц пагинации, когда в одном разделе несколько страниц.

    Пример страниц пагинации. Они находятся под цифрами 1, 2, 3 и т. д. Такое можно встретить, например, в блогах, где много статей или в многостраничных каталогах. И чтобы бесконечно не скролить вниз, делается их разбивка на внутренние страницы по номерам:

Почему дублированный контент вредит сайту?
  1. Негативно влияет на продвижение в поисковой выдаче. Поисковые роботы отрицательно относятся к дублированному контенту и могут понизить позиции в выдаче из-за отсутствия уникальности, а следовательно, и полезности для клиента. Нет смысла читать одно и то же на разных страницах сайта.
  2. Может подменить истинно-релевантные страницы. Робот может выбрать для выдачи дублированную страницу, если посчитает ее содержание более релевантным запросу. При этом у дубля, как правило, показатели поведенческих факторов и/или ссылочной массы ниже, чем у той страницы, которую вы целенаправленно продвигаете. А это значит, что дубль будет показан на худших позициях.
  3. Ведет к потере естественных ссылок. Когда пользователь делает ссылку не на прототип, а на дубль.
  4. Способствует неправильному распределению внутреннего ссылочного веса. Дубли перетягивают на себя часть веса с продвигаемых страниц, что также препятствует продвижению в поисковиках.
Как проверить, есть у вас дубли или нет?

Чтобы узнать, есть у страниц сайта дубли или нет, существует несколько способов.

  1. Проверка через расширенный поиск (например, yandex.ru/advanced.html). Для этого просто вбиваете адрес сайта и фрагмент текста со страницы, контент которой надо проверить на дубли, в соответствующие поля формы и смотрите результат. Если в выдаче появилась только одна страница, то дублей нет. Если результатов больше, это говорит о том, что у страницы сайта все такие есть дубли, и с этим надо что-то делать.

    На примере показано, что у страницы сайта нашлось несколько дублей через расширенный поиск Яндекс

  2. Проверка через программы оценивания уникальности (например, «Text.ru»). Итоги проверки покажут вам, с какими сайтами и их внутренними страницами совпадает анализируемый текст и на сколько процентов.

    На примере видно, с какими внутренними страницами и на сколько процентов совпадает контент анализируемой страницы. Анализ проводится через сайт text.ru:

Нашли дубли? Читаем, как их обезвредить:
  1. 301-й редирект. Этот способ считается самым надежным при избавлении от лишних дублей на вашем сайте. Суть метода заключается в переадресации поискового робота со страницы-дубля на основную. Таким образом, робот проскакивает дубль и работает только с нужной страницей сайта. Со временем, после настройки 301-ого редиректа, страницы дублей склеиваются и выпадают из индекса.
  2. Тег <link rel= "canonical">. Здесь мы указываем поисковой системе, какая страница у нас основная, предназначенная для индексации. Для этого на каждом дубле надо вписать специальный код для поискового робота <link rel="canonical" href="http://www.site.ru/original-page.html">, который будет содержать адрес основной страницы. Чтобы не делать подобные работы вручную, существуют специальные плагины.
  3. Disallow в robots.txt. Файл robots.txt – своеобразная инструкция для поискового робота, в которой указано, какие страницы нужно индексировать, а какие нет. Для запрета индексации и борьбы с дублями используется директива Disallow. Здесь, как и при настройке 301-го редиректа, важно правильно прописать запрет.
Как убрать дубли из индекса поисковых систем?

Что касается Яндекса, то он самостоятельно убирает дубли из индекса при правильной настройке файла robots.txt. А вот для Google надо прописывать правила во вкладке «Параметры URL» через Google Вебмастер.

Если у вас возникнут трудности с проверкой и устранением дублированного контента, вы всегда можете обратиться к нашим специалистам. Мы найдем все подозрительные элементы, настроим 301-й редирект, robots.txt, rel= "canonical", сделаем настройки в Google. В общем, проведем все работы, чтобы ваш сайт эффективно работал.

5
0
0
1
0

Екатерина Иова

SMM-специалист

© 1PS.RU, при полном или частичном копировании материала ссылка на первоисточник обязательна

SEO-гайд: 25 способов выйти в ТОП выдачи

В этом гайде вы найдете распространенные ошибки при продвижении сайта в интернете и узнаете, как получить наибольший эффект от SEO.

Рассматриваются три ключевых аспекта: семантика, структура и техническое состояние сайта, а также дополнительные факторы, влияющие на результаты продвижения.

Получить бонус

Популярные статьи

25 декабря 2023

Упали позиции сайта: почему так произошло и что с этим делать?

Читать статью 6.3K 8 мин.
5 июля 2018

Growth hacking – 10 хаков взрывного роста

Читать статью 18.8K 11 мин.
7 июня 2024

Как найти и устранить битые ссылки на сайте

Читать статью 8.1K 8 мин.
28 августа 2024

SEO-сопровождение сайта: кому это выгодно?

Читать статью 9.4K 5 мин.
7 марта 2019

Coca-cola vs. Pepsi, BMW vs. Audi: войны брендов, или «мое кунг-фу круче, чем твое»

Читать статью 47.4K 12 мин.
18 июня 2020

Рисуем портрет: как найти и определить целевую аудиторию

Читать статью 37.2K 16 мин.
8 июля 2020

Лид-магниты на сайте: как начать притягивать клиентов

Читать статью 13.2K 16 мин.
26 мая 2020

Сервисы Google для бизнеса

Читать статью 40.5K 11 мин.
20 марта 2023

Как умная камера от Яндекс облегчает жизнь пользователям

Читать статью 53.1K 4 мин.
25 декабря 2024

Эффект от SEO-сопровождения: чего ждать и в какие сроки?

Читать статью 18.1K 7 мин.
14 февраля 2024

24 способа увеличить посещаемость сайта

Читать статью 4K 7 мин.
19 января 2021

Новые факторы ранжирования Google: рассказываем, что будет важно в 2021 году

Читать статью 19.9K 10 мин.

Все популярные статьи

Закрытый клуб для маркетологов и владельцев бизнеса. Оставьте запрос на вступление!

Бизнес-завтраки онлайн, эксклюзивные материалы, доступ к Обучающему центру.
Специальные предложения для своих. Бесплатно навсегда

250 000 участников сообщества каждую неделю получают письма от нас

Еженедельные полезные советы по продвижению бизнеса и эксклюзивные предложения абсолютно бесплатно – подайте заявку на вступление!

Услуги, которые могут вас заинтересовать

Привлечем новых клиентов текстами! Напишем качественные статьи, промаркируем их, разместим на сторонних площадках – вы получите большие охваты, рост узнаваемости и трафика на сайт.

Стоимость:
от 32 500

Полный глубокий анализ сайта, аналогов которого нет на рынке. Проверим сайт по более 40 параметрам, ошибки разметим по степени критичности.

Стоимость:
от 20 000

Любые работы по оптимизации: составление сем. ядра, настройка вебмастеров, теги Title, Description, H1-H6, файлы robots.txt, sitemap и др.

Смотреть все услуги Попробовать бесплатно