Найдены страницы-дубли с GET-параметрами

У сайта появились дубли страниц, которые мешают ему продвигать и создают проблемы: идет снижение индексации, ранжирования. Каждый день поисковая система индексирует определенный сайт и у него есть свой лимит к домену в сутки. Когда все лимиты уходят на мусорные страницы и URL, становится обидно, потому что качественные страницы с уникальным контентом остались в стороне.

Как узнать есть ли дубли на сайте? Например, в вебмастере Яндекс появилось сообщение: «Найдены страницы дубли с GET параметрами». Это значит, что поисковая система передает информацию владельцам сайтам, что контент есть на разных страница, а он одинаковый везде.

Что такое get-параметры на сайте

GET параметры в URL — специальные динамические параметры, которые позволяют изменять контент на страницах сайта. Часто находится в URL адресе сразу же после «?» и может разделяться «&». Часто владельцы сайтов интернет магазинов используют GET запросы и параметры для фильтров на сайте, либо для сортировки.

Примеры url с гет-параметрами:
https://site.ru/catalog/monitory?sort=price (get-параметр после ? — sort, его значение =price — сортировка по цене)
https://site.ru/catalog/search?q=lukoil (get-параметр после ? — q, его значение =lukoil — результаты поиска по слову «lukoil» на сайту)

Как избавиться от ошибки — Найдены страницы дубли с GET-параметрами

Простой и рабочий способ избавиться сейчас от таких дублей внести правки в ваш файл Robots.txt, через директорию и правила Clean-param или Disallow.

Если вы видите, что у вас появились дубли (дублированные страницы) из-за GET параметров, то Яндекс предлагает сделать вам правило Clean-param, которое будет действовать именно для Яше.

Это позволит поисковому роботу понять и объединить страницы, которые являются дублями. Если произошли изменения, тогда бот сможет их проверить и убрать лишний мусор из поиска.

Как использовать Clean-param

Как правильно использовать Clean-param, ниже будет небольшой пример сайта магазина. Например у нас на сайте есть такие дубли:

• /cat/auto/nissan/?sort=pop&order=asc
• /cat/auto/nissan/?sort=price&order=asc
• /cat/auto/nissan/?sort=price&order=desc

Чтобы запретить индексацию этих сортировок и фильтров, нужно добавить в robots.txt следующее:

User-agent: Yandex
Clean-param: sort&order /cat/auto/nissan/

sort&order – это уникальные параметры, которые могут меняться и требуют учета;
/cat/auto/nissan/ — это категория разделах, и те которые начинаются с /cat/auto/nissan/.

Как использовать Disallow

Другой проверенный способ избавиться от дублей с GET-параметрами можно, используя директиву Disallow. Опять же берем те же адреса, что выше в примере.

Задаем правило в файле robots.txt:

User-agent: *
Disallow: *?sort=
Disallow: *&order=

*?sort= , *&order= – это уникальные параметры. Страницы, содержащие такие параметры индексироваться не будут.

Как полностью закрыть все параметры GET одной строкой?

User-agent: *
Disallow: *?

Однако нужно понимать, что если вы полностью закроете все страницы от индексации, иногда есть специальные страницы, которые могут быть обязательны.

Однако способами выше вы сможете решить проблему в Вебмастере Яндексе, гугле.