Установка устройства хранения данных для больших файлов
Мои Мысли были бы: Используйте мелкий (http://opensource.eyemg.com/Petit) для анализа вместо uniq. Журналы могли быть сохранены в .gz формате, таким образом, следующее может достигнуть Ваших первых 3 целей, и это - GPL. Нет никакого графического интерфейса или понятия экспорта.
zcat logfile.gz | petit --hash
Или
zcat logfile.gz | petit --dgraph
Если Вы хотите масштабируемость, проверяете GlusterFS, это - распределенная файловая система. При создании кластера устройства хранения данных GlusterFS может заставить его походить на единственную файловую систему. Это имеет поддержку основанного на программном обеспечении RAID 0 (чередование) и 1 (зеркальное отражение).
Я делаю крупномасштабный FC, работа SAN и такой объем - ничто для большей части набора устройства хранения данных среднего уровня. Очевидно, это не свободно, и я действительно понимаю инстинкт для сокращения издержек, просто увеличив масштаб бесплатного кода самокрутки, таких как FreeNAS и т.д., но это - фактическое шасси и ссылки, который, вероятно, будет содержать Вас назад хождение тот путь.
По-видимому, Вам нужно это доступные 99,9% +, таким образом, Вам будут нужны должные контроллеры/головы, по крайней мере. Вам нужны файл или доступ блочного уровня и если последний от сколько клиентских машин по какой протоколы? Что относительно скорости, и пропускная способность и полный IOPS? Что относительно поспешных возможностей, репликации, резервного копирования? Вы имеете бюджет в виду? Или любые предпочтительные поставщики/модели.