Пошуковий бот

Пошуковий робот

Програма, компонент пошукової системи, завданням якого є пошук та сканування сторінок на предмет інформації, розміщеної на них для подальшого додавання до пошукового індексу.

Принцип роботи пошукового робота полягає в скануванні сторінки та збереженні, розміщеної на ній інформації, в базу даних пошукової системи, після чого робот переходить за посиланнями на інші сторінки.

Кожна пошукова система має свої пошукові боти, які в свою чергу можуть ділитися на роботів, розділених за призначенням. Так, наприклад, пошукова система Google має велику кількість ботів, одними з яких є:

  • Googlebot News – сканує портали новин;
  • Googlebot Images – відповідає за пошук за зображеннями;
  • Google Mobile – індексує мобільний контент.

Для спрощення та прискорення процедури індексації сайту, пошукові системи дають можливість додати сайт через спеціальні сервіси – Google Webmaster Tools та Яндекс.Вебмайстер, а також додати файл sitemap.xmlxml-карту сайту з переліком усіх сторінок.

Поводження роботів неможливо контролювати, але можна частково керувати обходом сайту за допомогою файлу robots.txt.

Обговорити проект

    Google Rating 5.0 Based on 30 reviews