Есть ли способ запретить проверку роботов через Консоль управления IIS для всего сайта
Похоже, что Apache получает тайм-аут соединения, соединяющийся с серверами в пуле, который заставляет это не мочь служить запросу. Ваше значение тайм-аута смотрит ОЧЕНЬ низкая, неустойчивая сетевая задержка, или даже страница, которая занимает немного дополнительного времени к сгенерированному, могла заставить сервер выпадать из пула. Я попробовал бы более высокий тайм-аут и значения повторной попытки и возможно более высокое значение ping.
Вы могли бы также рассмотреть переключение на рабочего или событие mpm, предварительное ветвление mpm обычно имеет худшую производительность.
Специализированное программное обеспечение прокси/стабилизатора, такое как сквид, могло бы также быть хорошим вариантом.
Нет, это не указанный способ. Имеется либо robots.txt , либо HTML-метатег, как описано в http://en.wikipedia.org/wiki/Meta_element#The_robots_attribute
Доступны только эти два варианта .
Вы можете использовать один файл robots.txt, хранящийся где-то на вашем веб-сервере, и перенаправлять все запросы на любой сайт, размещенный на вашем сервере IIS, для robots.txt в этот файл. Это будет изменение для каждого сайта в IIS, но вы можете сделать это программно с помощью PowerShell.