Ограничение скорости неправильно сконфигурировало ботов
У нас есть Nginx / PHP-FPM позади подсистемы балансировки нагрузки, которая периодически очищается. Многие скребки совершают нападки, 404 страницы нашего приложения подавляют шумы трудно.
Существует ли путь в Nginx, возможно с ограничивающим уровень модулем или другим модулем, для блокирования всего трафика на основе x-forward-for после удара 404 ошибок в более чем 100 запросах в минуту?
Документация, которую я нашел для limit-req-module, похожа на него, основан на ресурсе, а не на статусе возврата страницы.
Существует достаточно трафика, что каждый узел видит достаточно 404 трафика, которые они не должны должны быть передавать о том, кто коллективно заблокироваться.
В nginx вы можете сделать это с помощью модуля limit_req_zone.
В nginx.conf при установке зоны:
limit_req_zone $binary_remote_addr zone=one:1000m rate=100r/m;
Вы также можете использовать X_Forwarded_For вместо binary_remote_addr.
В вашем сайте конфигурационного блока просто ссылайтесь на зону:
limit_req zone=one burst=10 nodelay;
doc: http://nginx.org/en/docs/http/ngx_http_limit_req_module.html
Вы можете использовать fail2ban и использовать следующую тюрьму с nginx, чтобы оценить лимит неправильно настроенных ботов
cp /etc/fail2ban/jail.conf /etc/fail2ban/jail.local и добавьте это внизу
[nginx-req-limit]
enabled = true
filter = nginx-req-limit
action = iptables-multiport[name=ReqLimit, port="http,https", protocol=tcp]
logpath = /var/log/nginx/*error.log
findtime = 600
bantime = 7200
maxretry = 10