AdsBot-Google
Про роботов поисковых систем мы уже писали. Теперь стоит подробнее рассмотреть одного из этих роботов — AdsBot-Google. Кликайте по ссылке, расположенной ниже и узнайте, что это за робот чем он занимается.
Что такое AdsBot-Google
AdsBot-Google — это один из ботов поисковой системы Гугл, созданный для поиска, сканирования и определения уровня качества страниц сайтов, на которые ведут ссылки из системы контекстной рекламы Google Ads. Используется AdsBot-Google для проверки качества и выявления релевантности объявления. С его помощью Гугл позволяет задавать оптимальную цену клика. Кроме того, с помощью AdsBot-Google в некоторых случаях поисковая система получает данные о страницах, закрытых для индексации в robots.txt.
Как контролировать доступ AdsBot-Google к веб-ресурсу
Для контроля доступа бота AdsBot-Google к сайту можно применять разные методы:
- Редактирование файла robots.txt;
- Использование метатегов;
- Изменение файла .htaccess.
Рассмотрим пример управления доступом к сайту для AdsBot-Google путем редактирования файла robots.txt и применения метатегов.
Редактирование файла robots.txt
Файл robots.txt должен находиться в корневой папке сайта. Как правило, роботы поисковиков в первую очередь находят и исследуют именно этот файл, а уже после него отправляются «гулять» по остальным страницам. Если они обнаружат в robots.txt запреты на индексирование тех или иных страниц, они учтут их при передаче собранных данных поисковой системе.
Для того, чтобы запретить боту AdsBot-Google сканировать какую-либо часть ресурса, нужно открыть robots.txt и прописать в нем:
User-agent: AdsBot-Google
Disallow:/
Использование метатегов
Альтернативный вариант — запрет доступа к определенной части страницы для AdsBot-Google через метатеги. Чтобы реализовать это, необходимо перед этой самой «частью страницы» вставить открывающий метатег:
<meta name=»AdsBot-Google» content=»noindex»>
Закрывающий метатег прописывается после окончания части страницы, которую нужно скрыть от бота. Выглядит он так:
<meta name=»AdsBot-Google» content=»index»>