Проверка на дубли онлайн

Внимание!

Проверка проходит в фоновом режиме, страничка зависает на время выполнения скрипта. Не закрывайте и не обновляйте страничку, результаты загрузятся, как пройдет проверка. Чем больше ссылок, тем больше ожидание. Примерно 1 ссылку главной страницы проверяет примерно 10-20 секунд, внутреннюю около 30-60 секунд (зависит также от сервера, на котором расположен сайт), 3 ссылки около 2-3 минуты. На главную страницу требуется меньше времени, чем на внутреннюю (для них больше проверок)

Конечно, часть дублей можно увидеть в Яндекс Вебмастере или Google Search Console, но как показывает практика, там зачастую не показывает и половины дубликатов страниц на сайте в поиске и вне индекса, которые мешают SEO продвижению сайта. Большое количество дублей можно узнать через какую-нибудь SEO программу, по типу Screaming Frog. Но проблема в том, что данные парсеры показывают лишь только те дубли, на которые есть ссылки с сайта. Т.е. в основном это полные дубли контента или частичные дубли в виде страниц пагинации (но с одинаковыми мета-тегами), на которые ссылается сайт. Потенциальные же дубли они не проверяют. В итоге не работая с потенциальной проблемой, придется постоянно исправлять постфактум проблемы с дублированием страниц.

Большое же количество дублей могут просто «потопить» сайт, возникновение дублирующих страниц мешают нормальной индексации и сразу отображаются на позициях сайта в поисковой выдаче.

Как трактовать результаты проверки?

Проверка дублей страниц для главной страницы

После получения результатов, вы видите подобную таблицу. В данном случае для примера приведу результаты для главной страницы

На скриншоте выше можно наблюдать такие дубли, где у нас проблема с HTTPS протоколом, страница, которая не открывается, выдает ошибку сертификата SSL, поэтому возникла «Ошибка проверки URL».

Далее мы видим ошибки и наличие дублей, которые нужно исправить:

• Не выбрано зеркало, с WWW или без WWW, соответственно не настроен редирект. Страница доступна по обоим адресам
• Нет редиректа при добавлении множественных слешей.
• Также страница открывается с добавлением /index.php, что является также дублем проверяемой страницы.

Остальные проверки страничка прошла. Соответственно в данной ситуации должен быть добавлен SSL сертификат, надо настроить редиректы с HTTP на HTTPS протокол, редирект с множественных слешей, а также редирект с index.php.

Поиск дублей для внутренней страницы

Теперь проверим отдельную страницу, внутреннюю страницу сайта, в данном случае интернет-магазина, чтобы найти дубли

Какие тут можно заметить проблемные места:

• Страница доступная, как с ПРОПИСНЫМИ буквами в URL-адресе, так и со строчными. Это разные страницы для поисковых систем, а посему такие страницы являются дублями.
• Далее идет ряд проверок, в которых добавляется символы /HFa1/, при которых по идеи должна отдаваться 404 ответ сервера (страница не найдена), но отдается 200 код ответа сервера, сервер отдает страничку несмотря на посторонние символы в URL-адресе. Еще может возникнуть куча дублей при такой настройке сервера.
• Предпоследний пункт, в котором убирается последняя часть урла между слешами не всегда показывает на проблему, и что там дубли. Но такая проверка необходима, т.к. не везде соблюдается иерархическая структура URL-адреса и при убирании последней части слеша, возможно выявить проблемы. Здесь надо всегда смотреть вручную, открывать URL и смотреть что открылось, допустимо ли это или нет.
• В последней проверке, меняется порядком часть URL’a, где http://greenlist.kz/almaty/catalog/magaziny/velosiped-kupit/ дублируется в конце URL-адреса и страница всё равно отдает 200 код, хотя должна 404 в данном случае.

Здесь решением проблемы будет настройка редиректа с ПРОПИСНЫХ на строчные буквы, а также настройка сервера (скорее всего, через программиста/разработчиков сайта), чтобы проверялся URL и при наличии ненужных символов отдавался соответствующий 404 ответ сервера.

Можно ли самому исправить дубли сайта?

Да, для этого на сайте есть раздел с редиректами, о которых я расскажу чуть ниже. Собственно, ниже будет таблица, как проходит проверка и как это можно исправить.