Какая конфигурация ZFS лучше всего подходит для ведения журнала?

Я планирую использовать оборудование, которое будет использоваться для управления журналами. Программное обеспечение, которое мы планируем запускать поверх оборудования, поддерживает многоуровневое хранение, и мы планируем использовать три следующих уровня:

  1. уровень будет SSD, будет построен с диска, непосредственно подключенного к корпусу сервера, и будет использоваться для первые 7 дней уровня данных
  2. будут вращаться диски, которые будут построены из дисков, непосредственно подключенных к корпусу сервера,и будет использоваться в течение первых 180-7 дней данных.
  3. Уровень будет состоять из вращающихся дисков, будет построен из дисков, расположенных на отдельном хранилище с прямым подключением SAS.

Базовая ОС - Ubuntu Server 16.04.4 и, к сожалению, я не могу повлиять на это решение.

Корпус сервера, который мы планируем использовать, - это Dell R740xd, и его компоновка будет следующей:

  • 2 жестких диска SAS 15K по 300 ГБ
  • 2 SSD SAS 1,6 ТБ
  • 18 x 2,4 ТБ 10K SAS HDD

Для ОС и приложения я планирую использовать zpool, который состоит из одного зеркального vdev, созданного из двух дисков по 300 ГБ.

Для первого уровня хранилища я планирую использовать используйте zpool, который состоит из зеркального vdev, созданного из двух SSD-дисков.

Для 2-го уровня я планирую использовать zpool, состоящий из трех 6-дисковых RAID-Z2 vdevs.

Два свободных слота оставляют мне с некоторыми опциями, если я хочу изменить то, что я хочу делать с zpool OS + Application и zpool 1-го уровня.

Кроме того, с zpool 3x6 (2-й уровень) я считаю, что смогу добиться наилучшего возможный результат с учетом как доступного хранилища, так и отказоустойчивости.

Однако действительно возникают вопросы по поводу внешнего хранилища с прямым подключением. Только 1-й уровень (SSD) подвергается постоянным операциям записи новых входящих журналов, а уровни 2 и 3 видят журналы, передаваемые и отправляемые только один раз в день, когда приложение проверяет журналы, которые превышают установленный срок хранения для уровня, на котором они в настоящее время проживают. Могут ли диски большего размера - скажем, 4 ТБ и даже больше - стать проблемой, если DAS будет построен из RAID-Z2 vdevs? Или было бы лучше использовать зеркальные vdevs? Я понял, что повторное резервное копирование будет менее проблемным с зеркалированием по сравнению с RAIDZ-2.

Для DAS я могу выбрать Dell MD1420 или MD1400. Последний предоставит мне больше возможностей с дисками большего размера (и более медленными / более дешевыми), тогда как первый ограничит мой выбор 2,5-дюймовыми дисками. Я предполагаю, что теоретически я мог бы также иметь возможность с 3,5-дюймовыми дисками в самом корпусе сервера, если есть вариант, в который можно установить диски 12x3,5 дюйма + диски 4x2,5 дюйма. Опять же, 2-й уровень (с твердотельными накопителями, являющимися 1-м уровнем) не будет видеть ни непрерывных операций записи, ни чтения, но все же может довольно часто видеть операции чтения в рабочее время, когда необходимо получить журналы старше 7 дней. Однако у меня нет достаточных знаний, чтобы принять решение, подойдет ли для этого 2-го уровня чего-нибудь дешевле, чем диски 10K.

1
задан 9 October 2018 в 23:36
1 ответ

Диски побольше - скажем, 4ТБ и еще побольше - диски будут проблемой, если DAS будет построен из RAID-Z2 vdevs? Или лучше было бы использовать зеркальные vdevs?

Единственной причиной использования зеркала, кроме времени ресервирования, была бы IOPS, потому что они должны масштабироваться с количеством дисков в зеркальной установке и быть равны одному диску в RAIDZ.

Сомневаюсь, что это имело бы здесь значение. Вы говорите о "извлечении", т.е. копировании данных, так что в основном это последовательное чтение. Время ожидания в несколько сотен миллисекунд - в худшем случае, когда ждут сотни параллельных обращений - все равно должно быть достаточно хорошим. Это не сервер базы данных, это скорее сетевое хранилище меньшего размера.

Однако, если у Вас есть аппаратное обеспечение, просто запустите несколько тестов.

Дополнительно, если это только лог-файлы, обязательно включите компрессию и, возможно, даже подумайте об увеличении размера записи до 1мб для лучшего сжатия, если у Вас в основном последовательное чтение/запись.

0
ответ дан 4 December 2019 в 03:37

Теги

Похожие вопросы