экспорт данных Python datadog
Я хочу иметь возможность экспортировать необработанные данные из Datadog. идея состоит в том, чтобы поддерживать более высокий уровень анализа собираемых метрик в восходящем направлении от пользовательского интерфейса Datadog.
API запросов метрик позволяет запрашивать только повторно агрегированные данные в соответствии с ячейками, которые нельзя задать явно. он не позволяет ни получить доступ к необработанным данным, ни явно определить условия для агрегирования.
вариант журнала в Datadog, похоже, не полностью поддерживается через API (или имеет ограниченную документацию)
Меня интересуют любые варианты интеграции восходящего потока из DataDog в другой клиент данных
После того, как был задан этот вопрос, Datadog добавил функциональные возможности к конечным точкам запросов журналов и метрик.
Для метрических запросов см. здесь, как можно настроить различные агрегации или группировку для выбора определенных временных рядов: https://docs.datadoghq.com/api/v1/metrics/#query-timeseries-points
Для отправки журналов в долгосрочный архив поставщика облачных хранилищ, например AWS S3, Azure Storage или Google Cloud Storage. Подробнее см. здесь: https://docs.datadoghq.com/logs/archives/
После того, как журналы находятся в долгосрочном хранилище, вы можете обрабатывать их с помощью выбранного вами механизма, например, используя Amazon Athena для запроса данных журнала. Посмотреть формат структуры архива и формат данных можно здесь: https://docs.datadoghq.com/logs/archives/#format-of-the-archives