Текстовый файл, находящегося в корне сайта, содержащий в себе набор правил (директив) для ограничения доступа роботов к содержимому на сервере согласно стандарту исключений. Действие файла распространяется только на основной домен.
Robots.txt
Robots, Роботс
Связанные термины
- Индексация сайта — процесс добавления сайта в базу поисковой системы для последующего отображения его в поисковой выдаче.
- Google Search Console — сервис компании google, созданный специально для веб-мастеров с целью проверки и отслеживания корректности работы сайта, управления индексацией и внешней оптимизацией.
- Яндекс.Вебмайстер — сервис компании яндекс для отслеживания и анализа индексирования страниц сайта, его позиций в поисковой системе яндекса и технического состояния.
- Алгоритм ранжирования — сценарий (скрипт), позволяющий сортировать сайты в поисковой выдаче, который помогает подобрать максимально полезный и качественный сайт по определенному запросу.
- VPN — виртуальная частная сеть, которая предоставляет доступ к сети интернет через свои каналы связи.
Похожие записи:
Как перенести сайт с http на https ~10 минут(ы) на чтение 05.03.2020 684 5 2
Топ 8 последствий взлома сайта + кейс защиты от XSS атаки ~7 минут(ы) на чтение 28.09.2020 893 0 2
Индексация страниц сайта: проверка через поисковые системы и сервисы ~12 минут(ы) на чтение 28.05.2020 1 179 0 0