Текстовий файл, що знаходиться в корені сайту, містить набір правил (директив) для обмеження доступу роботів до вмісту на сервері відповідно до стандарту винятків. Дія файлу поширюється лише на основний домен.
Robots.txt
Robots, Роботс
Пов'язані терміни
- Google Search Console — сервіс компанії google, створений спеціально для веб-майстрів з метою перевірки та відстеження коректності роботи сайту, управління індексацією та зовнішньою оптимізацією.
- VPN — віртуальна приватна мережа, яка надає доступ до інтернету через свої канали зв'язку.
- Алгоритм ранжирування — сценарій (скрипт), що дозволяє сортувати сайти у пошуковій видачі, що допомагає підібрати максимально корисний та якісний сайт за певним запитом.
- Індексація сайту — процес додавання сайту до бази пошукової системи для подальшого відображення його в пошуковій видачі.
- Краулінговий бюджет — це кількість сторінок, які індексує робот пошукових систем за один захід на сайт.
Схожі записи:
Як перенести сайт з http на https ~10 хвилин(и) на читання 05.03.2020 4 5 0
Як обійти блокування, VPN в Україні ~10 хвилин(и) на читання 20.03.2020 1 896 2 0
Як перевірити домен та вибрати ім’я за тематикою ~7 хвилин(и) на читання 31.01.2020 4 0 0