Каковы накладные расходы ZFS RAIDz1 / 2 в среде HPC SSD?

Пример оборудования / хоста:

  • Современный 64-ядерный ЦП, 128 ГБ памяти
  • 8 твердотельных накопителей Micron Pro 15,36 ТБ u.2
  • SSD-накопители, подключенные через выделенный Oculink на устройство (без объединительной платы или совместного использования PCIe)
  • Ubuntu 20.04

Пример использования:

  • Резервный сервер для сотен хостов. Резервное копирование выполняется с помощью инкрементной rsync, включающей сначала rsync с удаленного хоста, а затем локальную копию (с использованием cp) для создания моментального снимка. - - - Миллионы небольших файлов (электронная почта, файлы html и т. Д.) Являются типичными для резервного копирования.
  • В любой момент сервер может иметь дело с 50 входящими rsync (алгоритм легкого шифрования процессора и без сжатия)
  • Хотя было бы выгодно, не требуется. Максимальный отказ одного диска.
  • Экстремальный локальный ввод-вывод, необходимый для ротации файлов
  • Использование rsync и дифференциального копирования жесткой ссылки ('rsnapshot') не может быть изменено, это требуется для программного обеспечения резервного копирования, которое развернуто и в production уже - так что о снимках BTRFS не может быть и речи.

Я придумал два возможных решения:

  1. Раздробить мое хранилище данных, без избыточности. На основе формата диска в BTRRFS и монтирования с встроенным сжатием LZO.
  • Преимущество: простой и легкий, без накладных расходов на управление рейдами
  • Преимущество: Изолированный сбой, при сбое диска теряется только небольшая часть резервных копий, которые являются быстрое наращивание снова
  • Преимущество: получена максимальная общая емкость
  • Недостаток: сложность управления емкостью - отсутствие одного большого тома означает стратегическую балансировку данных на определенных дисках, чтобы максимально использовать их
  • Недостаток: Диск сбой действительно приводит к потере данных
  1. ZFS RAIDz1 / 2 на всех дисках для одного большого тома
  • Преимущество: резервирование при отказе одного или двух дисков
  • Преимущество: простое управление, все размещается на одном гигантском томе - много места.
  • ] Недостаток: потеря емкости одного или двух дисков

Вопрос: возникнут ли значительные накладные расходы на управление ZFS RAID, которые снизят производительность массива по сравнению с вариантом 1? - В конфигурации, которую он разработал на всех уровнях, чтобы максимизировать пропускную способность диска между ОС и твердотельными накопителями, до 10 гигабит в секунду,не вызовут ли накладные расходы на управление ZFS RAID значительным падением производительности и / или перегрузкой ЦП или памяти?

Спасибо.

3
задан 10 November 2020 в 11:06
2 ответа

ZFS를 사용합니다. LZ4 압축을 사용합니다. 기본값은 많은 NVMe 드라이브에 적합하지 않으므로 ZFS를 적절하게 조정하십시오.

실제 워크로드로 테스트하고 벤치마킹합니다. 성능이 어떻게 될지 알 수 없습니다.

RAIDZ 오버 헤드는이 문제에 대한 문제가 아닙니다.

CPU 용 마이크로 벤치 마크는 주어진 플랫폼에 대해 가장 빠른 것을 자동으로 선택합니다.

ZFS 모듈 참조 parameters :

enter image description here

3
ответ дан 4 January 2021 в 07:41

BTRFS RAID5는 100 % 안정적인 것으로 간주되지 않기 때문에 백업 머신에도 권장하지 않습니다. 또한 이러한 대용량 SSD에서는 RAID5 대신 RAID6을 사용합니다.

그래서 XFS와 함께 MD RAID6를 사용하거나 Ubuntu 시스템 인 ZFS RAIDZ2와 lz4 압축을 사용하는 것이 좋습니다.

편집 : 단순히 사용하지 않습니다. 단일 드라이브 BTRFS 파일 시스템을 유효한 백업 방법으로 사용하는 것이 좋습니다. 이 구성에서 모든 단일 드라이브 오류는 (부분) 데이터 손실로 이어집니다. LZ4 압축과 함께 RAIDZ2를 사용하거나 최대 성능을 위해 XFS와 함께 MD RAID6을 사용하는 것이 좋습니다 (그러나 압축 및 체크섬 손실).

2
ответ дан 4 January 2021 в 07:41

Теги

Похожие вопросы