Маленькое максимальное количество соединений на маршрутизаторе Linux

Непонятно, почему вы уверены, что проблема не связана с одной из ваших конечных точек (клиентом или сервером), какой тип трафика вы генерируете? Работает ли с другим устройством?

Я нашел ответ, и это было довольно забавно - переполнение таблицы ARP. Трафик в тестовой среде генерировался со многих IP-адресов, которые находились в напрямую подключенных сетях, поэтому системе пришлось сначала использовать ARP для определения MAC-адресов, а жесткое ограничение по умолчанию для таблицы ARP в Linux составляет всего 1024 записи, что дает число соединений между сетями, подключенными к 2 различным интерфейсам, приближается к 512. Когда я увеличил net.ipv4.neigh.gc_thresh1, а также .gc_thresh2 и .gc_thresh3, проблема была решена.