Простое решение состояло бы в том, чтобы отредактировать Ваш файл robots.txt и добавить следующую строку:
Агент пользователя: *
Задержка проверки: 60
Изменение задержки проверки с числом в секундах между запросами. "Хорошие" боты должны слушать это и ожидать между запросами. "Плохие" роботы не слушают правил robots.txt однако..
Оказывается, в отношении этого сообщения , полученный мной ответ, который помог решить эту проблему, также устранил эту проблему. Вместо того, чтобы просто ввести:
ifconfig eth0:1 192.168.0.2 up
, я ввел команду с сетевой маской
в конце:
ifconfig eth0:1 192.168.0.2 netmask 255.255.255.0 up
, и она сработала. Я могу пинговать любое DNS-имя, трассировку и все такое.