Програма, компонент пошукової системи, завданням якого є пошук та сканування сторінок на предмет інформації, розміщеної на них для подальшого додавання до пошукового індексу.
Принцип роботи пошукового робота полягає в скануванні сторінки та збереженні, розміщеної на ній інформації, в базу даних пошукової системи, після чого робот переходить за посиланнями на інші сторінки.
Кожна пошукова система має свої пошукові боти, які в свою чергу можуть ділитися на роботів, розділених за призначенням. Так, наприклад, пошукова система Google має велику кількість ботів, одними з яких є:
- Googlebot News – сканує портали новин;
- Googlebot Images – відповідає за пошук за зображеннями;
- Google Mobile – індексує мобільний контент.
Для спрощення та прискорення процедури індексації сайту, пошукові системи дають можливість додати сайт через спеціальні сервіси – Google Webmaster Tools та Яндекс.Вебмайстер, а також додати файл sitemap.xml – xml-карту сайту з переліком усіх сторінок.
Поводження роботів неможливо контролювати, але можна частково керувати обходом сайту за допомогою файлу robots.txt.