разумная политика журналов и инструменты

Вы поворачиваете свои журналы? Это, вероятно, будет Вашим лучшим планом действий. Используя logrotate делает действительно легким сохранить старые журналы, сжать их, если Вы хотите и сохраняете их столько, сколько Вы хотите.

    "/export/log/non-local/mail.log" {
      daily
      rotate 7
      missingok
      postrotate
         /etc/init.d/syslog-ng reload >/dev/null
      endscript
      compress
      notifempty 
    }

    "/export/log/non-local/lab-submit" {
        rotate 5
        monthly
        postrotate
         /etc/init.d/syslog-ng reload >/dev/null
        endscript
        notifempty
    }

Это - отрывок одного из моих logrotate файлов. Первая строка файла конфигурации поворачивает почтовый журнал каждый день, сохраняя старые копии в течение семи дней. "missingok" означает, что проигнорирует файл, если это не будет, где он, как предполагается, находится. Постповорачивание... раздел endscript содержит команды, которые будут выполнены после того, как файл был повернут. Сжатие очевидно, значение по умолчанию является gzip. Можно изменить сжатие с помощью чего-то как

   compresscmd /usr/bin/bzip2
   compressext .bz2 

Лаборатория утверждает, что журнал повернут один раз в месяц и сохранен в течение 5 месяцев.

Я надеюсь, что это помогает. Я предполагаю (очевидно), что Вы в настоящее время не поворачиваете свои журналы, что Вы запускаете некоторый Linux, и что Вы хотели бы использовать logrotate, в зависимости от своего дистрибутива и типа журнала, Вы не могли бы хотеть использовать logrotate. Если какое-либо из моих предположений является неправильным, сообщите мне, и я попытаюсь пересмотреть свой ответ.

Мой общий план действий, зависит от суммы диска I, может удобно поддержать для получения информации о журнале, при контакте с тем время от времени катастрофического события отладки, которое может вызвать значительное увеличение использования дискового пространства.

Удаленный вход, всегда, из-за следующего:

• Вы никогда не знаете, когда машина собирается взорваться,
• Когда это делает, необходимо знать почему как можно скорее
• Доступ к центральному лог-серверу, вероятно, быстрее, чем перезагрузка упомянутого сервера в однопользовательский режим),

На центральном сервере сохраните журналы, пока Вы думаете, необходимы (или требуются, чтобы). Я обычно держу на [сжатые] журналы между 6 и 12 месяцами для того, чтобы отклониться, но 1 или 2 месяца могут быть хорошо для Вас.

Локальный вход и вращение:

• Вращайтесь раз в час, поддерживая на высоком уровне к четырем часам на диске
  • (или если у Вас есть запасное пространство и высота ввода-вывода: один раз в неделю, до семи дней на диске)
• Сжатие каждые два часа
  • (renice Ваша задача сжатия вниз относительно не вмешиваются в более важные задачи),

Локальный вход сохраняет Вас застрахованными на всякий случай, Вы теряете сетевое соединение в какой-то момент.

Для определенных вещей я хочу держать на журналы в течение долгого времени - например, мои апачские журналы для исторического интереса. Но даже там, у меня есть a cron задание, работающее каждый день и/или неделя, чтобы сделать простой анализ уникальных посетителей, который отправляется по почте в учетную запись Gmail, которую я установил только для такой вещи.

Однако мой общий подход - то, что я не хочу или нуждаюсь в большинстве данных в тех журналах, возвращающихся больше, чем несколько дней.

Я уже знаю, что никогда не собираюсь "обходить tuit" когда дело доходит до выполнения любого построения графика или исторического анализа, потому что, откровенно говоря, я слишком занят, делая мое "реальное" задание :)

Если Вы выполняете a syslog коллектор, Вы, возможно, должны держать на те журналы дольше - просто, потому что они захватывают все с однако многих серверов, от которых Вы собираетесь.

В прошлый раз у меня был a syslog установка сервера, у нас была пара старого DL180s с жесткими дисками на 18 ГБ под управлением Ubuntu. Оба перекрестные смонтированные другой через nfs (<othersys>/path/to/log @ <currentsys>/path/to/backup).

Мы ежедневно поворачивали наши журналы, сжимаясь через bzip2. Когда хит дискового пространства> используемых 90%, мы отбросили бы самый старый файл.

Это было упомянуто прежде*, но можно также хотеть исследовать журнал анализатор, такой как эпилог или Splunk как компонент политики журнала.

Что такое разумная политика журналов?

Ну, в реальном мире деньги на отсутствие и время имеют тенденцию мешать; но вот первоочередные задачи, по моему скромному мнению:

a) Соберитесь входит в систему центральный репозиторий. Соберитесь входит в систему одно безопасное место, к

• избегайте того, чтобы они были вмешивавшимся, если Вы взламываетесь
• дать Вам целое изображение в повседневной работе, т.е. способность следовать за событиями через несколько машин.

b) Используйте поиск в реальном времени и фильтрующий, чтобы нарезать и поставить на карту данные логов при необходимости.

• Зарегистрируйте почти все - возможно, не каждый недопустимый пакет, который прибывает во внешний брандмауэр, но конечно каждое важное событие с Ваших серверов, возможно, события от Вашей рабочей станции ПК также, и т.д.
• Используйте поиск и фильтрующий на центральном репозитории журнала для извлечения значения из всех этих данных при необходимости.

c) Настройте предупреждения. Настройте значимые предупреждения для своей системы. Это имеет много перекрытия с другими системами, такими как Munin или Nagios; они могут сделать в значительной степени то же. Какая система Вы предпочтете предупреждать, что Вы будете делом вкуса и индивидуальными обстоятельствами.

• Обязательно извлеките столько значения из этого, сколько Вы можете, т.е. занимать время для установки предупреждения для типичных проблем. Это поможет Вам быть более превентивным в Вашем системном администрировании.

d) Сохраните все в течение по крайней мере 90 дней. Можно выбросить менее важные данные больше чем после 90 дней, если Вы должны, но Вы, возможно, не должны. Например, при использовании MySQL с механизмом Хранения архивов для исторических данных затем можно сохранить большие объемы данных дешево, но главным образом только для чтения и с плохой индексацией. Деление данных в "горячем" и "почти строке" может работать хорошо.

Хорошие и дешевые системы, которые включают вышеупомянутое? Я все еще ищу. Решения кажутся разделенными в два, по моему скромному мнению: 1) открытый исходный код / дешевые системы на основе базы данных и некоторых сценариев и 2) большой enterprisey' we-help-you-with-regulatory-compliance системы, которые являются дорогими. Ни один просто не кажется правильным для меня.