Поисковый робот

Все вы слышали про роботов поисковых систем, но мало кто «близко с ними знаком» (в плане понимания тонкостей их работы и т.п.). Поэтому мы посвятили поисковым роботам отдельную статью, в которой рассмотрели принципы и виды их работы. Открываем ссылку ниже и читаем.

Что такое поисковый робот

Поисковый робот — это специальное приложение определенной поисковой системы, которое используется для внесения в базу данных (для индексирования) сайтов, найденных в Сети и их страниц. Помимо названия «поисковый робот» довольно часто используются и другие: бот. паук, краулер и т.п.

Как работает поисковый робот: принцип

Поисковые роботы относятся к браузерному программному обеспечению. Они беспрерывно выполняют сканирование Сети: 

• открывают сайты, которые уже есть в базе поисковиков (уже проиндексированы);
• переходят по ссылкам в статьях, открывая таким образом новые ресурсы и т.д.

Как только робот поисковой системы обнаружит новый сайт, он добавляет его в индекс поисковика. Также боты обновляют данные по сайтам (проверяют изменения, публикацию новых материалов и т.п.). Причем, частота посещений сайта роботом будет фиксированной. То есть, к примеру, если на ресурсе новый контент появляется раз в неделю, то и робот будет заходить на сайт примерно раз в неделю.

Если сайт молодой и пока не имеет ссылочной массы (или старый, но на него также не ведет много ссылок), то для привлечения на него ботов поисковых систем нужно использовать специальную функцию в Яндекс.Вебмастере и панелях управления для вебмастеров других поисковых систем.

Вам будет полезно почитать о том, как ускорить индексацию сайта.

Разновидности поисковых ботов

Роботы Яндекса:

• Yandex/1.01.001 I — главный робот, занимающийся индексацией сайтов;
• Yandex/1.01.001 (P) — используется для индексации графических элементов;
• Yandex/1.01.001 (H) — выполняет поиск зеркал сайта;
• Yandex/1.03.003 (D) — находит соответствия страницы, добавленной через панель вебмастера, указанным параметрам индексации;
• YaDirectBot/1.0 (I) — занимается индексацией площадок из РСЯ (Рекламной Сети Яндекса);
• Yandex/1.02.000 (F) — добавляет в базу данных поисковика иконки сайтов.

Роботы Гугл:

• Робот Googlebot — главный краулер поисковой системы;
• Googlebot News — выполняет индексацию новостей;
• Google Mobile — выполняет индексацию ресурсов для мобильных платформ;,
• Googlebot Images — индексирует графику;
• Googlebot Video — индексирует видеоконтент;
• Google AdsBot — определяет уровень качества целевой страницы;
• Google Mobile AdSense и Google AdSense — занимаются изучением и добавлением в базу сайтов из рекламной сети Гугл.

Остальные поисковые системы тоже имеют своих роботов — их функционал похож на функционал вышеописанных ботов.