Пример оборудования / хоста:
- Современный 64-ядерный ЦП, 128 ГБ памяти
- 8 твердотельных накопителей Micron Pro 15,36 ТБ u.2
- SSD-накопители, подключенные через выделенный Oculink на устройство (без объединительной платы или совместного использования PCIe)
- Ubuntu 20.04
Пример использования:
- Резервный сервер для сотен хостов. Резервное копирование выполняется с помощью инкрементной rsync, включающей сначала rsync с удаленного хоста, а затем локальную копию (с использованием cp) для создания моментального снимка. - - - Миллионы небольших файлов (электронная почта, файлы html и т. Д.) Являются типичными для резервного копирования.
- В любой момент сервер может иметь дело с 50 входящими rsync (алгоритм легкого шифрования процессора и без сжатия)
- Хотя было бы выгодно, не требуется. Максимальный отказ одного диска.
- Экстремальный локальный ввод-вывод, необходимый для ротации файлов
- Использование rsync и дифференциального копирования жесткой ссылки ('rsnapshot') не может быть изменено, это требуется для программного обеспечения резервного копирования, которое развернуто и в production уже - так что о снимках BTRFS не может быть и речи.
Я придумал два возможных решения:
- Раздробить мое хранилище данных, без избыточности. На основе формата диска в BTRRFS и монтирования с встроенным сжатием LZO.
- Преимущество: простой и легкий, без накладных расходов на управление рейдами
- Преимущество: Изолированный сбой, при сбое диска теряется только небольшая часть резервных копий, которые являются быстрое наращивание снова
- Преимущество: получена максимальная общая емкость
- Недостаток: сложность управления емкостью - отсутствие одного большого тома означает стратегическую балансировку данных на определенных дисках, чтобы максимально использовать их
- Недостаток: Диск сбой действительно приводит к потере данных
- ZFS RAIDz1 / 2 на всех дисках для одного большого тома
- Преимущество: резервирование при отказе одного или двух дисков
- Преимущество: простое управление, все размещается на одном гигантском томе - много места.
- ] Недостаток: потеря емкости одного или двух дисков
Вопрос: возникнут ли значительные накладные расходы на управление ZFS RAID, которые снизят производительность массива по сравнению с вариантом 1? - В конфигурации, которую он разработал на всех уровнях, чтобы максимизировать пропускную способность диска между ОС и твердотельными накопителями, до 10 гигабит в секунду,не вызовут ли накладные расходы на управление ZFS RAID значительным падением производительности и / или перегрузкой ЦП или памяти?
Спасибо.
задан
elliotp
10 November 2020 в 11:06
Ссылка