Роботс (robots.txt)

Роботс (robots.txt) - текстовый файл, в котором прописаны условия ограничения доступа поисковых роботов к страницам и разделам веб-ресурсов, которые следует скрыть от индексации, исключить из результатов выдачи. Это один из самых важных файлов для оптимизации сайта. Его отсутствие или неправильное оформление может повлечь за собой повышенную нагрузку на сайт со стороны поисковых роботов, замедлит индексацию веб-страниц.

В robots.txt указывается информация о том, какие данные нужно индексировать, а какие - игнорировать, а так же, с какими временными интервалами производить скачивание. Такой подход снизит нагрузку на сайт и ускорит процесс скачивания, запретит обход таких страниц, как ajax, json, отвечающих за капчи, баннеры и пр.

Для регулировки доступа к данным в robots.txt применяются различные директивы Disallow, Crawl-delay, Clean-param, Sitemap и другие.




НАЗАД К СПИСКУ