Как удалить раздувание из моих журналов автоматически

Я просматривал журналы на сервере с несколькими vhosts / учетными записями, пытаясь понять, какие из них нужно удалить, потому что сейчас конец месяца и автоматическое резервное копирование не удалось (я использую Apache и / или Nginx).

Я понял, что значительная часть того, что там есть, для меня бессмысленна. Я имею в виду, что мне, вероятно, следует зарегистрировать это, потому что он не работал, это было бы симптомом проблемы, но записи в журнале записи инициированных cPanel запросов к /. Well-known / acme-challenge / ... или служба "мониторинга работоспособности", которую я использую, которая проверяет каждые 5 минут, бесполезна для меня в ретроспективе.

Я предполагаю, что настройка задачи cron , которая запускает sed в конце дня, или что-то могло бы справиться с этим, но я бы не хотел редактировать активный журнал, и все журналы, кроме активного журнала, хранятся в gzip-архивах .gz

I ' Мы никогда не настраивали вручную задание cron , но это кажется достаточно простым, но я не знаю, как подойти к работе со сжатым архивом.

Sed - это «редактор потока». способ для меня использовать его для фильтрации журналов до их сжатия ... может быть, правильно, когда это уже не активный журнал, но до того, как он был заархивирован?

Предложения о том, как это сделать, или существующее программное обеспечение, которое это делает ?

Меня также довольно раздражает то, что у меня есть несколько журналов для каждого ... похоже, у меня есть 3 журнала доступа для каждого виртуального хоста, 1 стандартный журнал, журнал SSL и байт (?) журнала, поэтому даже их объединение будет улучшением.

Я должен отметить, что я реализую Fail2Ban , чтобы несколько уменьшить объем журналов, но я не хочу установите слишком низкий уровень журнала.

Небольшая помощь?

0
задан 20 March 2020 в 23:04
1 ответ

Сохранение файла журнала - это работа сценариев ротации и очистки, вызывающая команды logrotate , tmpwatch или find . Они предназначены для автоматического предотвращения переполнения хранилища файлов журнала без значительного увеличения объема. Обычно здесь не так много обработки, чтобы сценарии очистки были простыми. Но вы можете удалить некоторые строки при сжатии журналов.

Если существуют URI, которые никогда не должны регистрироваться, веб-сервер можно настроить так, чтобы они никогда не регистрировались. Пример httpd.

Иногда поисковая машина помогает сделать количество строк журнала полезным и управляемым для людей. Рассмотрите возможность пересылки журналов в текстовый конвейер, например Graylog или Logstash. Затем извлеките сигнал из шума. Например, поиск ответов HTTP, отличных от 200. Или эту 5-минутную службу мониторинга можно превратить во вторичное оповещение, если URI проверки работоспособности не использовался за последние 10 минут.

2
ответ дан 30 March 2020 в 01:19

Теги

Похожие вопросы