Я создатель из LogZilla , и мы совсем рядом с выпуском облачного решения Amazon EC2 для нашего программного обеспечения. Я был бы рад возможности обсудить ваши цели и возможность предоставить вам это решение. Если вам интересно, не стесняйтесь обращаться ко мне.
Хотя я уверен, что вы могли бы использовать rsyslog, мы используем syslog-ng с tcp (вы также можете использовать tls-шифрование и дисковую буферизацию для защиты и обеспечения доставка сообщения).
Наши тестовые боксы отправляют до 3000 событий в секунду без потерь - и все это на микропроцессоре Amazon EC2 (заметьте, это не будет работать в производственной среде в основном из-за потребностей в хранилище, но это свидетельство работы мы сделали).
Для высокой доступности было бы проще использовать два целевых сервера журналов, чем пытаться дедуплицировать их - тогда просто используйте тактовый сигнал между двумя серверами и не переключитесь на резервный, если основной перейдет в автономный режим. Вы по-прежнему можете выполнять дедупликацию, если хотите, но первое, как правило, намного проще в реализации и работает очень хорошо.
Синхронизация файлов, не относящихся к системному журналу, - это простой вопрос их синтаксического анализа с помощью perl и отправки по системному журналу с помощью Log :: Syslog :: Fast - пример этого включен в каталог contrib нашего программного обеспечения (проверьте svn, если вам нужна копия). Вы также можете просто скопировать их на сервер LogZilla и направить прямо в наш препроцессор.