файловые серверы посредством соединения VPN
Используйте файл robots.txt в своем корневом каталоге документа во-первых.. Пауки и Боты обычно ищут этот файл прежде, чем начать сканирование..
Используйте .htaccess файл (это могло также быть помещено в Ваши апачские конфигурации, хотя изменение синтаксиса потребностей),
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^googlebot
RewriteRule ^(.*)$ http://google.com/
http://www.besthostratings.com/articles/block-bad-bots.html
Надеюсь, это поможет.. :D
Я хотел бы знать, является ли проблема «не удается найти хост» (разрешение имени) или «не удается достичь хоста» (маршрутизация / межсетевой экран). Вы наблюдали за клиентом или сервером с точки зрения сети? Монитор процессов MS SysInternals полезен в подобных ситуациях. Если вы все же используете его, удалите один из фильтров по умолчанию, который скрывает все, что связано с «Системой». Без этого вы не увидите трафик SMB / CIFS. Вы также можете отключить мониторинг реестра и файловой системы. Плюс скажите ему отбрасывать отфильтрованные события (в меню фильтров) - без этого файл подкачки забивается данными событий.