Проверка на дубли

Внимание!

Проверка проходит в фоновом режиме, страничка зависает на время выполнения скрипта. Не закрывайте и не обновляйте страничку, результаты загрузятся, как пройдет проверка. Чем больше ссылок, тем больше ожидание. Примерно 1 ссылку главной страницы проверяет примерно 10-20 секунд, внутреннюю около 30-60 секунд (зависит также от сервера, на котором расположен сайт), 3 ссылки около 2-3 минуты. На главную страницу требуется меньше времени, чем на внутреннюю (для них больше проверок)

Как трактовать результаты проверки?

Для главной страницы

После получения результатов, вы видите подобную таблицу. В данном случае для примера приведу результаты для главной страницы

На скриншоте выше можно наблюдать, что у нас проблема с HTTPS протоколом, страница не открывается, выдает ошибку сертификата SSL, поэтому возникла «Ошибка проверки URL».

Далее мы видим ошибки:

• Не выбрано зеркало, с WWW или без WWW, соответственно не настроен редирект. Страница доступна по обоим адресам
• Нет редиректа при добавлении множественных слешей.
• Также страница открывается с добавлением /index.php, что является также дублем проверяемой страницы.

Остальные проверки страничка прошла. Соответственно в данной ситуации нужно добавить SSL сертификат, настроить редиректы с HTTP на HTTPS протокол, редирект с множественных слешей, а также редирект с index.php.

Для внутренней страницы

Теперь проверим внутреннюю страницу сайта

Какие тут можно заметить проблемные места:

• Страница доступная, как с ПРОПИСНЫМИ буквами в URL-адресе, так и со строчными. Это разные страницы для поисковых систем, а посему такие страницы являются дублями.
• Далее идет ряд проверок, в которых добавляется символы /HFa1/, при которых по идеи должна отдаваться 404 ответ сервера (страница не найдена), но отдается 200 код ответа сервера, сервер отдает страничку несмотря на посторонние символы в URL-адресе. Еще может возникнуть куча дублей при такой настройке сервера.
• Предпоследний пункт, в котором убирается последняя часть урла между слешами не всегда показывает на проблему, и что там дубли. Но такая проверка необходима, т.к. не везде соблюдается иерархическая структура URL-адреса и при убирании последней части слеша, возможно выявить проблемы. Здесь надо всегда смотреть вручную, открывать URL и смотреть что открылось, допустимо ли это или нет.
• В последней проверке, меняется порядком часть URL’a, где http://greenlist.kz/almaty/catalog/magaziny/velosiped-kupit/ дублируется в конце URL-адреса и страница всё равно отдает 200 код, хотя должна 404 в данном случае.

Здесь решением проблемы будет настройка редиректа с ПРОПИСНЫХ на строчные буквы, а также настройка сервера (скорее всего, через программиста/разработчиков сайта), чтобы проверялся URL и при наличии ненужных символов отдавался соответствующий 404 ответ сервера.

Можно ли самому исправить дубли сайта?

Да, для этого на сайте есть раздел с редиректами, о которых я расскажу чуть ниже. Собственно, ниже будет табличца, как проходит проверка и как это можно исправить.