Соединение непосредственно, а не через переключатель не должно иметь заметного значения для задержки. Вы могли подключить вторые порты к переключателю также и агрегировать ссылки при необходимости в дополнительной пропускной способности.
Этот должен работать, но нам нужно знать больше о вашей среде. Ваша проблема, скорее всего, связана с настройками контроля допуска для вашего кластера с 4 хостами. Однако особенности , как правильно настроить контроль доступа , выходят за рамки этого вопроса.
Можете ли вы попробовать отключить контроль доступа высокой доступности и снова попытаться перейти в режим обслуживания на хосте?