Большинство дистрибутивов Linux может быть установлено без GUI. Лично я рекомендовал бы Debian для серверов, но Вы, вероятно, также получите известие от хинду, Linux с нуля и толпа Red Hat. В значительной степени любой дистрибутив мог обработать веб-сервер довольно легко.
Технически не ответ - но как насчет того, чтобы выполнить сетевую трассировку (tcpdump / wireshark) на сервере и/или клиенте и видит то, что это пытается сделать?