Канонизация неуникальных URL

Когда поисковый бот приходит к вам на сайт и находит несколько одинаковых страниц, то он выберет тот вариант, который вы назначили приоритетным. Если такового нет, то бот сделает этот выбор самостоятельно, и тогда наиболее прибыльные для вас страницы могут в индекс так и не попасть.

Поэтому очень важно канонизировать те страницы, которые являются наиболее важными для вас.

Канонический URL – это метатег, который позволяет поисковикам индексировать из нескольких адресов наиболее предпочтительный для данного сайта.

У любого сайта есть URL-дубликаты. Они могут появиться несколькими способами:

Автоматически, когда поисковики заходят на ваш сайт через HTTP или HTTPS, или через WWW.
Генерирование дубликатов при сортировке продуктов, созданных при помощи URL-дубликатов.

Так как поисковые системы ранжируют контент с высокой оригинальностью выше, нужно пометить какие страницы на веб-сайте уникальны.

Инструменты

Тег Rel=canonical. Введен в 2016 году. Сущность этого метода: вебмастер добавляет данный тег со ссылкой на каноническую страницу в заголовки всех страниц-дубликатов.
Тег Rel=canonical HTTP header. Применяется для канонизации HTML-страниц. Данными методами возможно пользоваться тогда, когда у вас есть доступ к опциям сервера.
301 редирект. Это переадресация на оригинальный URL. Используется при замене домена, не оригинального контента, для ошибки 404,при переносе контента на другой URL.
Sitemap. XML-файл, в котором прописано местопребывание URL-адресов, дата и частота их обновления и т. д. Страницы, обозначенные там, воспринимаются поисковиками как приоритетные.

Ошибки при канонизации

Канонизация нескольких дубликатов различными методами, потому что делая это, вы путаете поискового бота и в результате ни одну из страничек он не признает уникальной.
Внедрение тега rel=canonical для страниц с категориями продуктов. Скройте их в robots.txt или же в meta «noindex», дабы поисковый бот не видел их.
Внедрение robot.txt для канонизации. Это не имеет смысла, так как бот не увидит эти страницы.
Линкование дубликатов URL-адресов.
Вписывание дубликатов в URL Removal Tool в Гугл Search Console. Это перекроет доступ для поисковиков и на дублирующие страницы, и на уникальные.
Канонизация HTTP в случае если на веб-сайте есть HTTPS версия страницы, потому что переход на HTTPS увеличивает ее позиции в поиске.

Помните, что лучше всего для канонизации применять 4 метода, которые описаны в статье, потому что они рекомендованы Гугл как наиболее действенные. Не совершайте ошибок при канонизации и вы оптимизируете краулинговый бюджет и отправите прибыльные страницы в индекс.