Поисковый робот
Все вы слышали про роботов поисковых систем, но мало кто «близко с ними знаком» (в плане понимания тонкостей их работы и т.п.). Поэтому мы посвятили поисковым роботам отдельную статью, в которой рассмотрели принципы и виды их работы. Открываем ссылку ниже и читаем.
Что такое поисковый робот
Поисковый робот — это специальное приложение определенной поисковой системы, которое используется для внесения в базу данных (для индексирования) сайтов, найденных в Сети и их страниц. Помимо названия «поисковый робот» довольно часто используются и другие: бот. паук, краулер и т.п.
Как работает поисковый робот: принцип
Поисковые роботы относятся к браузерному программному обеспечению. Они беспрерывно выполняют сканирование Сети:
- открывают сайты, которые уже есть в базе поисковиков (уже проиндексированы);
- переходят по ссылкам в статьях, открывая таким образом новые ресурсы и т.д.
Как только робот поисковой системы обнаружит новый сайт, он добавляет его в индекс поисковика. Также боты обновляют данные по сайтам (проверяют изменения, публикацию новых материалов и т.п.). Причем, частота посещений сайта роботом будет фиксированной. То есть, к примеру, если на ресурсе новый контент появляется раз в неделю, то и робот будет заходить на сайт примерно раз в неделю.
Если сайт молодой и пока не имеет ссылочной массы (или старый, но на него также не ведет много ссылок), то для привлечения на него ботов поисковых систем нужно использовать специальную функцию в Яндекс.Вебмастере и панелях управления для вебмастеров других поисковых систем.
Вам будет полезно почитать о том, как ускорить индексацию сайта.
Разновидности поисковых ботов
Роботы Яндекса:
- Yandex/1.01.001 I — главный робот, занимающийся индексацией сайтов;
- Yandex/1.01.001 (P) — используется для индексации графических элементов;
- Yandex/1.01.001 (H) — выполняет поиск зеркал сайта;
- Yandex/1.03.003 (D) — находит соответствия страницы, добавленной через панель вебмастера, указанным параметрам индексации;
- YaDirectBot/1.0 (I) — занимается индексацией площадок из РСЯ (Рекламной Сети Яндекса);
- Yandex/1.02.000 (F) — добавляет в базу данных поисковика иконки сайтов.
Роботы Гугл:
- Робот Googlebot — главный краулер поисковой системы;
- Googlebot News — выполняет индексацию новостей;
- Google Mobile — выполняет индексацию ресурсов для мобильных платформ;,
- Googlebot Images — индексирует графику;
- Googlebot Video — индексирует видеоконтент;
- Google AdsBot — определяет уровень качества целевой страницы;
- Google Mobile AdSense и Google AdSense — занимаются изучением и добавлением в базу сайтов из рекламной сети Гугл.
Остальные поисковые системы тоже имеют своих роботов — их функционал похож на функционал вышеописанных ботов.