Файл robots.txt будет простой говорить робот, где ему разрешают пойти и где он не. Это не имеет никакой власти заставлять робот перейти по ссылке на другой сайт. nofollow, noindex метатег будет препятствовать тому, чтобы совместимый робот индексировал или перешел по указанной ссылке или ссылки, содержавшиеся в веб-странице.
другие сетевые транзакции являются медленными на серверах на 64 бита? Могло быть что-то столь же простое как плохой или устаревший сетевой драйвер.
Убедитесь, что на старых и новых серверах выполняются следующие условия.
Проверьте масштабирование окна на старых и новых серверах
Буфер чтения и записи для соединения
размер буферов может при необходимости настроить
root @ x : ~ # sysctl -A | grep net | grep mem
Проверьте эти переменные
Они определяют максимальное использование буфера памяти по умолчанию для всех сетевых подключений в ядре
net.core.wmem_max = 131071
net.core.rmem_max = 131071
net.core.wmem_default = 126976
net.core.rmem_default = 126976
Они определяют использование буферной памяти, специфичное для TCP-соединений
net.ipv4.tcp_mem = 378528 504704 757056
net.ipv4.tcp_wmem = 4096 16384 4194304
net.ipv4.tcp_rmem = 4096 87380 4194304
Три указанных значения - это «минимальный максимальный размер буфера по умолчанию». Итак, чтобы начать с Linux, мы будем использовать значения по умолчанию для буфера чтения и записи для каждого соединения. По мере увеличения количества подключений эти буферы будут уменьшаться (максимум до указанного минимального значения). То же самое и для максимального значения буфера.
Эти значения могут быть установлены с помощью этой sysctl -w KEY = KEY VALUE
Проверить другие параметры TCP-сети
Попробуйте эти
на старом сервере
sysctl -a | grep ^ net.ipv4> s1
на новом сервере
sysctl -a | grep ^ net.ipv4> s2
теперь выполните diff файлов s1 и s2 (после копирования s2 на старый сервер
diff s1 s2
Это покажет разницу в параметрах
проверить статус iptables
iptables -L
iptables -t нат -L
на обоих серверах
Также проверьте статус selinux