Программа, компонент поисковой системы, задачей которого является поиск и сканирование страниц на предмет информации, размещенной на них для дальнейшего добавления в поисковый индекс.
Принцип работы поискового бота заключается в сканировании страницы и сохранении, размещенной на ней информации, в базу данных поисковой системы, после чего робот переходит по ссылкам на другие страницы.
Каждая поисковая система обладает своими поисковыми ботами, которые в свою очередь могут делиться на роботов, разделенных по назначению. Так например, поисковая система Google обладает большим количеством ботов, одними из которых являются:
- Googlebot News — сканирует новостные порталы;
- Googlebot Images — отвечает за поиск по изображениям;
- Google Mobile — индексирует мобильный контент.
Для упрощения и ускорения процедуры индексации сайта, поисковые системы дают возможность добавить сайт через специальные сервисы — Google Webmaster Tools и Яндекс.Вебмастер, а также добавить файл sitemap.xml — xml-карту сайта с перечнем всех страниц.
Поведение роботов невозможно контролировать, но можно частично управлять обходом сайта при помощи файла robots.txt.