Вы Ваш брандмауэр отключил? Это работает теперь?
Используйте скрипты Arno Iptables с включенным плагином IDS. Он сделает всю работу за вас. Ссылка
Также вы можете использовать ngx_http_limit_conn_module
