Я должен запретить пауков?
Вы могли поощрить тех, кто все еще пытается использовать Ваш теперь закрытый прокси, чтобы зайти в перенаправление их к защищенной паролем странице (тот, который не имеет никаких действительных пользователей, htpasswd файл =/dev/null) - каждый запрос откроется раздражающее подлинное диалоговое окно, пока они не сдадутся и прекращают пытаться неправильно использовать Ваш прокси.
В то время как в разработке Вы не могли бы хотеть это, поисковые системы индексируют Ваш сайт просто все же.
Обычно Вы хотели бы запретить паукам определенные разделы Вашего сайта или страниц, что Вы не хотите появляться в результатах поиска, или ничего не предлагать для поисковой системы - такой как форма обратной связи, каталоги сценария, каталоги образов и т.д...
Иногда пауки могут поразить Ваш сайт на высоком показателе, который настолько блокирующиеся определенные поисковые роботы могут помочь серверу загрузить, если они поражают медленные страницы.
Вы также хотели бы запретить его при удалении страниц или каталогов, таким образом, это не выкладывает 404's в журналах сервера.
Помните, что robots.txt доброволен и не высоконадежен. Хорошие роботы действительно выполняют robots.txt, таким образом, это - хороший путь к содержимому элемента управления в Вашей поисковой системе.
Существует неправильное представление, что размещение содержания в Вашем robots.txt будет увеличивать Вашу безопасность или препятствовать тому, чтобы роботы проверили плохо работающие веб-страницы. Однако некоторые плохие роботы проигнорируют robots.txt. Если robots.txt случайно удален в течение одной недели, боты могли бы просканировать Ваш сайт и опубликовать результаты к Google/Yahoo/Bing, и Вы никогда не можете мочь очистить это. Некоторые вредоносные программы, которые будут конкретно искать сочные цели в Вашем файле robots.txt и будут конкретно предназначаться для тех запрещенных объектов.