Настройки robost.txt для блокировки ненужных ботов, уменьшения нагрузки поисковых роботов на сайт, а также закрытие папок, которым не требуется индексация….

Читать