Вы рассмотрели выравнивание нагрузки? Существует множество технологий, которые выполняют это. Мое предпочтение является LVS, но решения других, применимые к выравниванию нагрузки веб-сервера, включают..
LVS имеет различные планировщики, которые указывают точно, как обрабатываются соединения. Это также очень легко, я выполняю его на маленьком потребительском оборудовании, обрабатывающем трафик для веб-сайта большого объема.