Вопросы Теги

Вывод Logstash в хранилище BLOB-объектов Azure

В настоящее время я импортирую журналы IIS в Logstash с помощью Filebeat, и Logstash настроен для вывода документов в Elasticsearch. Теперь я также хочу вывести свои журналы IIS в хранилище Azure (blob) для долгосрочного резервного копирования, но я не могу найти способ сделать это.

Существует рабочий плагин Logstash для вывода в AWS . Но мне нужно использовать хранилище BLOB-объектов Azure. Я не могу найти подключаемый модуль вывода для хранилища BLOB-объектов Azure в списке эластичных выходных данных или где-либо еще.

Есть ли способ вывести документы из Logstash в хранилище BLOB-объектов Azure?

Кажется, это ценная функция . Я предполагаю, что это будет выглядеть примерно так: 

output {
    Azure_storage {
        account => "test"
        key => "SuperSecret"
        container => "Backup_Documents"
        blobName => "nameofblob"
    }
  }
0
задан 12 June 2017 в 17:45
2 ответа

Нет ни одного ни в официальных плагинах, ни в списке плагинов, поддерживаемом сообществом. Кто-то, наверное, еще не написал. Или, если есть, они не делятся. Это может быть тот случай, когда вы выводите данные в локальный каталог и используете запланированную задачу для синхронизации каталога с хранилищем больших двоичных объектов. Мы используем этот метод для одного из незнакомых нам рабочих процессов.

0
ответ дан 5 December 2019 в 08:01

Существует плагин с открытым исходным кодом: https://github.com/tuffk/Logstash-output-to-Azure-Blob

Базовая конфигурация:

  output {
       azure {
         storage_account_name => "my-azure-account"    # required
         storage_access_key => "my-super-secret-key"   # required
         container_name => "my-container"              # required
         size_file => 1024*1024*5                      # optional
         time_file => 10                               # optional
         restore => true                               # optional
         temporary_directory => "path/to/directory"    # optional
         prefix => "a_prefix"                          # optional
         upload_queue_size => 2                        # optional
         upload_workers_count => 1                     # optional
         rotation_strategy_val => "size_and_time"      # optional
         tags => []                                    # optional
         encoding => "none"                            # optional
       }
     }

Чтобы сделать подключаемый модуль доступным в вашей среде Logstash, выполните следующую команду:

bin/logstash-plugin install logstash-output-azure
1
ответ дан 26 July 2020 в 16:12

Теги

Похожие вопросы