Вопрос является немного общим для меня. Но на определенной вещи Вы сказали:
- Security, only 1 admin server can be SSH'ed into. The others are ip-table
blocked.
- Admin server can SSH into other servers with a key.
Проблема состоит в том, что у Вас есть единственная точка отказа для способности администрировать все Ваши серверы, таким образом, я настроил бы по крайней мере два сервера, что Вы можете ssh в то, если Вы чувствуете потребность ограничить ssh большинством серверов.
Я не имею в виду, чтобы это было банально, но является Вами способный к su -
? Sudo замечательный инструмент, но когда вещами является b0rked, он может помешать; и это - подходящее время для подлинного переключения пользователя, чтобы базироваться, зафиксировать то, чему нужна фиксация, и возвратитесь к нормальному операционному состоянию, где можно снова положиться на sudo.
С другой стороны, у Вас есть удаленный доступ KVM к консоли? Если вещи действительно повреждаются, и Вы не можете даже запустить оболочку для корня, то Вы, вероятно, смотрите на физическую жесткую перезагрузку.
Я надеюсь, что это помогает;удачи!