Вопросы Теги

Отправить журналы NGINX в Graylog

Я пытаюсь собрать ошибки nginx и получить доступ к журналам с помощью Graylog, я думаю, что все настроено правильно, но Graylog ничего не получает от NGINX (Graylog и NGINX находятся в контейнерах докеров, и оба находятся в одной сети)

Я использую nginx / 1.13.5 и Graylog 2.4.0, и я использую этот пакет содержимого в Graylog

. my nginx.conf 

user  nginx;
worker_processes  auto;

error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;


events {
    worker_connections  1024;
}


http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                  '$status $body_bytes_sent "$http_referer" '
                  '"$http_user_agent" "$http_x_forwarded_for"';

    log_format graylog2_json escape=json '{ "timestamp": "$time_iso8601", '
                 '"remote_addr": "$remote_addr", '
                 '"remote_user": "$remote_user", '
                 '"body_bytes_sent": $body_bytes_sent, '
                 '"request_time": $request_time, '
                 '"status": $status, '
                 '"request": "$request", '
                 '"request_method": "$request_method", '
                 '"host": "$host",'
                 '"upstream_cache_status": "$upstream_cache_status",'
                 '"upstream_addr": "$upstream_addr",'
                 '"http_x_forwarded_for": "$http_x_forwarded_for",'
                 '"http_referrer": "$http_referer", '
                 '"http_user_agent": "$http_user_agent" }';

    access_log syslog:server=graylog:12301,facility=local0,tag=nginx,severity=info graylog2_json;
    error_log  syslog:server=graylog:12302,facility=local0,tag=nginx,severity=error warn;
    #error_log stderr;

    sendfile        on;
    #tcp_nopush     on;

    keepalive_timeout  65;

    #gzip  on;

    include /etc/nginx/conf.d/*.conf;
}
daemon off;

Если я попробую с помощью nc, мой серый журнал получит сообщение 

echo -n "test message" | nc -u -w1 graylog 12301

Спасибо!

7
задан 3 April 2018 в 14:48
1 ответ

Предлагаю вам собрать некоторую отладочную информацию: Как вы сказали, ваша сеть работает

  1. пакетов TCP Dump на хосте Graylog:

если Nginx на том же хосте, что и Graylog: sudo tcpdump udp -n -vv port 12301 -i lo -X

if Nginx находится на другом хосте как Graylog: sudo tcpdump udp -n -vv port 12301 -X

tcp dump

  1. Если сетевой уровень работает и вы видите пакеты, как на картинке, перейдите в Graylog Inputs и проверьте, какой тип ввода вы используете. иметь

    [a] Это должен быть Raw / Plaintext UDP (если у вас GELF UDP Graylog будет фильтровать ваши сообщения , поскольку Nginx отправляет журналы в формате Syslog, а не в Json

    [b] У вас будет сетевой ввод-вывод, отличный от 0

    [c] Порт (12301 в вашем случае) и IP должны быть такими же, как в конфигурации Nginx

graylog input

  1. Если у вас есть все это, вы найдете сообщение RAW из Nginx в вашем Graylog:

<190> 26 июля.16: 12: 07.graylog.nginx:. {. "timestamp":. "2018-07-26T16: 12: 07 + 03: 00" ,. " remote_addr ":." xx.xxxxx ",." body_bytes_sent ":. 4277,." request_time ":. 0,005,." response_status ":. 200,." request ":." POST./api/cluster/metrics /multiple.HTTP/1.1",."request_method":."POST",."host":."xx.xxxxx",."upstream_cache_status":."-",."upstream_addr":."xx. xxxxx ",." http_x_forwarded_for ":." xx.xxxxx ",." http_referrer ":." https: //xx.xxxxx/system/inputs ",." http_user_agent ":. "xx.xxxxxxx.xxxxxxx.xxxxxxx.xxxxx",. "http_version":. "HTTP / 1.1",. "nginx_access":. true.}

  1. Извлечь форму RAW-сообщения псевдо-системного журнала в формате JSON с использованием Graylog Input Extractor:

Extractor Example: 

{
  "extractors": [
    {
      "title": "Extract from Pseudo-Syslog a JSON",
      "extractor_type": "regex_replace",
      "converters": [],
      "order": 0,
      "cursor_strategy": "cut",
      "source_field": "message",
      "target_field": "message",
      "extractor_config": {
        "replacement": "$1",
        "regex": "^.*?(\\{.*?\\})$"
      },
      "condition_type": "none",
      "condition_value": ""
    }
  ],
  "version": "2.4.6"
}

Поскольку вы используете «пакет содержимого», вам необходимо добавить правило перед всеми остальными, которые поступают из «пакета содержимого» ( order: 0) если вы выполняете импорт и экспорт

После добавления правила вы очистите журнал JSON от Nginx, вся остальная работа будет выполняться «пакетом содержимого»

  1. Проверьте конфигурацию Nginx

Пример ngnix.conf: 

log_format graylog_json '{ "timestamp": "$time_iso8601", "remote_addr": "$remote_addr", "body_bytes_sent": $body_bytes_sent, "request_time": $request_time, "response_status": $status, "request": "$request", "request_method    ": "$request_method", "host": "$host", "upstream_cache_status": "$upstream_cache_status", "upstream_addr": "$upstream_addr", "http_x_forwarded_for": "$http_x_forwarded_for", "http_referrer": "$http_referer", "http_user_agent": "$h    ttp_user_agent", "http_version": "$server_protocol", "nginx_access": true }';
access_log syslog:server=graylog:5555 graylog_json;

Надеюсь, что после всех этих шагов вы найдете полезным

1
ответ дан 2 December 2019 в 23:51

Теги

Похожие вопросы