Наиболее распространенный подход для чего-то вроде этого или к использованию протокола маршрутизации или к виртуальному IP. Протоколы маршрутизации, такие как BGP или OSPF могут удалить маршруты, которые больше не работают, поскольку они используют, поддерживают сообщения. Виртуальный IP - когда один сервер имеет вторичный IP-адрес, если этот сервер перестанет работать, то другой сервер возьмет виртуальный IP-адрес. Вы могли использовать ucarp или heartbeat для этого.
Подход VIP обычно более прост в зависимости от того, что Вы пытаетесь сделать.