Решение по контролю, которое не копирует исходные данные?
Я должен проанализировать данные, хранившие в нескольких базах данных. Каждый из них содержит некоторых ТБ данных датчика и журналов.
Если я использую Splunk или ElasticSearch/Kibana, я вижу 2 решения:
Паектный импорт все
Запишите некоторые сценарии для импорта только данных, в которых я нуждаюсь по требованию
Это не оптимально потому что с 1. Я копирую ТБ данных, и с 2. Мне нужна некоторая пользовательская логика, которая не будет интегрирована с моим инструментом аналитики.
Мои вопросы:
Существует ли способ выполнить аналитику на месте с Splunk или Kibana, т.е. пропустить шаг импорта и просто считать все из существующих баз данных?
Или есть ли инструмент, который автоматически выбрал бы соответствующие данные и только соответствующие данные?
Чтобы иметь возможность быстро искать данные, я советую Elasticsearch В зависимости от того, какой должна быть логика соответствующих данных, вы можете использовать ElasticSearch Rivers. http://www.elasticsearch.org/guide/en/elasticsearch/rivers/current/
Это позволяет эластичному поиску извлекать все (релевантные) данные. По моему опыту, объем хранимых вами данных будет уменьшен до нескольких ГБ в ElasticSearch
.