Категории блога
Чеклист по оптимизации сайта
Бесплатный чек-лист
Получить
Но вам требуется продвижение сайта или создание сайта-лидера, идеального для SEO? Тогда вы можете оставить заявку на продвижение или заявку на создание сайта. Если вы собираетесь продвигать сайт самостоятельно — продолжайте чтение!
У сайта появились дубли страниц, которые мешают ему продвигать и создают проблемы: идет снижение индексации, ранжирования. Каждый день поисковая система индексирует определенный сайт и у него есть свой лимит к домену в сутки. Когда все лимиты уходят на мусорные страницы и URL, становится обидно, потому что качественные страницы с уникальным контентом остались в стороне.
Как узнать есть ли дубли на сайте? Например, в вебмастере Яндекс появилось сообщение: «Найдены страницы дубли с GET параметрами». Это значит, что поисковая система передает информацию владельцам сайтам, что контент есть на разных страница, а он одинаковый везде.
GET параметры в URL — специальные динамические параметры, которые позволяют изменять контент на страницах сайта. Часто находится в URL адресе сразу же после «?» и может разделяться «&». Часто владельцы сайтов интернет магазинов используют GET запросы и параметры для фильтров на сайте, либо для сортировки.
Примеры url с гет-параметрами:
https://site.ru/catalog/monitory?sort=price (get-параметр после ? — sort, его значение =price — сортировка по цене)
https://site.ru/catalog/search?q=lukoil (get-параметр после ? — q, его значение =lukoil — результаты поиска по слову «lukoil» на сайту)
Простой и рабочий способ избавиться сейчас от таких дублей внести правки в ваш файл Robots.txt, через директорию и правила Clean-param или Disallow.
Если вы видите, что у вас появились дубли (дублированные страницы) из-за GET параметров, то Яндекс предлагает сделать вам правило Clean-param, которое будет действовать именно для Яше.
Это позволит поисковому роботу понять и объединить страницы, которые являются дублями. Если произошли изменения, тогда бот сможет их проверить и убрать лишний мусор из поиска.
Как правильно использовать Clean-param, ниже будет небольшой пример сайта магазина. Например у нас на сайте есть такие дубли:
Чтобы запретить индексацию этих сортировок и фильтров, нужно добавить в robots.txt следующее:
User-agent: Yandex
Clean-param: sort&order /cat/auto/nissan/
sort&order – это уникальные параметры, которые могут меняться и требуют учета;
/cat/auto/nissan/ — это категория разделах, и те которые начинаются с /cat/auto/nissan/.
Другой проверенный способ избавиться от дублей с GET-параметрами можно, используя директиву Disallow. Опять же берем те же адреса, что выше в примере.
Задаем правило в файле robots.txt:
User-agent: *
Disallow: *?sort=
Disallow: *&order=
*?sort= , *&order= – это уникальные параметры. Страницы, содержащие такие параметры индексироваться не будут.
User-agent: *
Disallow: *?
Однако нужно понимать, что если вы полностью закроете все страницы от индексации, иногда есть специальные страницы, которые могут быть обязательны.
Однако способами выше вы сможете решить проблему в Вебмастере Яндексе, гугле.