Различные экстракторы для одного и того же входа Graylog ?
Я использую сопутствующие функции Graylog с Filebeat для получения нескольких различных файлов журналов с моего сервера, включая Syslog, Nginx и Java App. Все они поступают в один и тот же вход Graylog для Beats (я пытался предоставить несколько входов, к сожалению, Filebeat отправляет в одно и только одно место). Все отлично работает, кроме экстракторов.
Как мне указать конкретный экстрактор для определенного сообщения журнала? Пример: Если поле ' type '=' API '(мое приложение Java), я хочу применить экстрактор JSON. Если type = 'nginx', применить экстракторы регулярных выражений.
Вы можете связать экстракторы таким образом, чтобы, если сообщение содержит API, копировать сообщение в api_message, выполнять экстрактор в этом новом поле.
сделать то же самое для nginx и т. Д.
Я загружаю несколько источников журналов на один вход и к нему привязаны 4 экстрактора. Судя по поведению, которое я наблюдал, если экстрактор не соответствует требованиям, он просто переходит к следующему экстрактору. Это всего лишь попытка, а не сила.
Например, мои экстракторы:
- Декодировать JSON (входные данные поступают как JSON, он распределяется по полям)
- Стандартный формат ведения журнала приложений (мы используем внутренний стандарт)
- Код ошибки для приложения (в случае ОШИБКИ наши приложения используют настраиваемое поле Example_Error = Something)
- Имя хоста Mac OS X
Когда журнал приложения поступает без ошибок, он:
- Получает декодирование из JSON
- Соответствует формату через grok с RegEx
- Pass (нет поля "Example_Error =")
- Pass (нет совпадений с журналами Mac OS X)
И когда поступает системный журнал Mac OS X:
- Получает декодирование из JSON
- Пройдено (не соответствует формату ведения журнала приложения)
- Пройдено (не соответствует полю кода ошибки)
- Получает извлеченное имя хоста
С некоторым планированием и хорошими наборами приемов , вы можете заставить это работать с большим количеством экстракторов на основе ожидаемого форматирования ваших журналов. Особенно полезной для вас может быть опция «Выполнять извлечение, только если поле содержит (строку / регулярное выражение)» в экстракторах.