Robots.txt

Robots, Роботс

Текстовий файл, що знаходиться в корені сайту, містить набір правил (директив) для обмеження доступу роботів до вмісту на сервері відповідно до стандарту винятків. Дія файлу поширюється лише на основний домен.

Обговорити проект

    Google Rating 5.0 Based on 30 reviews