Это будет распределять только отдельные пакеты между различными внутренними серверами, а не соединения, и, следовательно, не будет работать (TCP работает по статусу).
Вам следует подумать об использовании ipvs
(IP виртуальный сервер), смотрите http://www.linuxvirtualserver.org/software/ipvs.html (хотя этот сайт немного запутался). Он использует специальный модуль в ядре для отслеживания соединений, чтобы вы могли правильно сбалансировать нагрузку.