Dell H730 в режиме HBA - Почему возникают проблемы с производительностью и данными SMART? [дубликат]
я недавно купил Dell R730xd с картой RAID H730 . Я хотел бы перенести на этот сервер существующий пул ZFS из 6 дисков, а также создать дополнительный аппаратный RAID из 6 дисков.
Можно ли настроить карту RAID H730 для одновременной работы в режиме HBA и RAID? И затем управлять только 6 дисками в аппаратном RAID и позволить ОС управлять оставшимися 6 дисками в программном RAID?
Если нет, может ли Dell R730xd использовать как карту RAID H730 , так и одновременно с платой HBA LSI 9207-8i ? Вы бы просто подключили по одному кабелю SAS от каждой карты к каждой части объединительной платы? Нужно ли мне покупать какие-либо новые кабели для подключения LSI 9207-8i к объединительной плате в моем R730xd?
Есть ли лучшая карта для использования в ZFS в R730xd с вращающимися дисками, чем ] LSI 9207-8i ?
Что касается вашего вопроса о разделении объединительной платы между контроллерами, да, это возможно. Я сделал это с корпусами с 8 отсеками, в которых присутствовали два 4-полосных разъема SAS SFF-8087. 4 диска к одному контроллеру, 4 диска к другому. Однако я не знаю состав или ситуацию с расширителем на сервере Dell, который вы описываете.
Единственные контроллеры, которые допускают это, - это те, которые имеют порты смешанного / гибридного режима. Контроллеры HPE Smart Array в системах Gen10 являются хорошим примером. Они позволяют использовать аппаратный RAID или режим HBA для каждого порта / диска.
У меня также есть это работающее на Avago MR9363-4i. / dev / sdy внизу - это аппаратный RAID1 RAID1 для ОС. Остальные диски разделены на два обычных пула ZFS.
[0:0:4:0] enclosu LSI SAS3x40 0601 -
[0:0:5:0] disk SEAGATE ST1800MM0128 E002 /dev/sda
[0:0:6:0] disk SEAGATE ST1800MM0128 E002 /dev/sdb
[0:0:7:0] disk SEAGATE ST1800MM0128 E002 /dev/sdc
[0:0:8:0] disk SEAGATE ST1800MM0128 E002 /dev/sdd
[0:0:9:0] disk SEAGATE ST1800MM0128 E002 /dev/sde
[0:0:10:0] disk SEAGATE ST1800MM0128 E002 /dev/sdf
[0:0:11:0] disk ATA SAMSUNG MZ7LM1T9 204Q /dev/sdg
[0:0:12:0] disk ATA SAMSUNG MZ7LM1T9 204Q /dev/sdh
[0:0:13:0] disk ATA SAMSUNG MZ7LM1T9 204Q /dev/sdi
[0:0:14:0] disk ATA SAMSUNG MZ7LM1T9 204Q /dev/sdj
[0:0:15:0] disk ATA SAMSUNG MZ7LM1T9 204Q /dev/sdk
[0:0:16:0] disk ATA SAMSUNG MZ7LM1T9 204Q /dev/sdl
[0:0:17:0] disk ATA SAMSUNG MZ7LM1T9 204Q /dev/sdm
[0:0:18:0] disk ATA SAMSUNG MZ7LM1T9 204Q /dev/sdn
[0:0:19:0] disk ATA SAMSUNG MZ7LM1T9 204Q /dev/sdo
[0:0:20:0] disk ATA SAMSUNG MZ7LM1T9 204Q /dev/sdp
[0:0:21:0] disk ATA SAMSUNG MZ7LM1T9 204Q /dev/sdq
[0:0:23:0] disk ATA SAMSUNG MZ7LM1T9 204Q /dev/sdr
[0:0:24:0] disk ATA SAMSUNG MZ7LM1T9 204Q /dev/sds
[0:0:25:0] disk ATA SAMSUNG MZ7LM1T9 204Q /dev/sdt
[0:0:26:0] disk ATA SAMSUNG MZ7LM1T9 204Q /dev/sdu
[0:0:27:0] disk ATA SAMSUNG MZ7LM1T9 204Q /dev/sdv
[0:0:28:0] disk ATA SAMSUNG MZ7LM1T9 204Q /dev/sdw
[0:0:29:0] disk ATA SAMSUNG MZ7LM1T9 204Q /dev/sdx
[0:2:0:0] disk AVAGO MR9363-4i 4.68 /dev/sdy
Ответы на каждый вопрос:
пока вы можете установить другую карту PCI-E RAID, объединительную плату можно подключить к одной карте. Таким образом, вы не можете одновременно использовать собственную карту RAID и дополнительную карту для доступа к дискам на одной внутренней объединительной плате [edit: @ewwhite предположил, что разделение дисков между контроллерами должно быть возможно, так что, возможно, я ошибаюсь здесь. Однако единственная официально поддерживаемая конфигурация с двумя контроллерами на R730xd требует использования опции объединительной платы с гибким зонированием , поэтому я не уверен, можно ли / как запустить два контроллера в этом конкретном случае];
, вероятно, нет, но см. №1
PERC H730 поддерживает два режима работы: режим RAID и режим HBA
стандартный режим RAID, который поддерживает диски RAID и без RAID . В режиме RAID контроллер ожидает, что диски будут частью массива RAID, и не будет предоставлять необработанный диск операционной системе. В режиме без RAID (или сквозной передачи) диски, объявленные как не RAID, доступны операционной системе (см. Примечание № 1). В этом режиме отчеты SMART зависят от прошивки, и, если он не работает, вы можете попробовать использовать специальный драйвер
megaraid, то есть: выдать что-то какsmartctl -a -d megaraid, 0 / dev / sda;в режиме HBA карта работает как обычный контроллер SAS на базе LSI. Это означает, что любые возможности RAID отключены, и диски напрямую управляются операционной системой. В таком режиме мониторинг SMART с помощью карты отключен, и данные SMART должны быть напрямую доступны (и контролироваться) операционной системой. Кроме того, вы теряете управление светодиодами карты, и вы можете потерять дополнительные преимущества, предлагаемые кешем обратной записи контроллера (у меня нет прямого подтверждения), что означает гораздо более низкую производительность при произвольной записи. Однако обратите внимание, что в ZFS вы должны использовать SLOG для получения высокой производительности случайной записи, а не полагаться на кеш контроллера в любом случае.
В конце концов, поскольку карты серии PERC 9/10 достаточно гибкие, у вас нет причин использовать дополнительная карта RAID.
Примечание № 1 из руководства карты:
По умолчанию все диски находятся в ненастроенном состоянии с поддержкой RAID. В Пользователь также может преобразовать диски с поддержкой RAID в диски без RAID, используя либо утилита конфигурации BIOS, либо UEFI / HII RAID Утилита конфигурации
У меня такие же мысли о смешивании аппаратного RAID Perc и ZFS, я думал о разделении объединительной платы или выполнении других неприятных процедур. С одной стороны, мне потребовались аппаратные тома рейда, с другой стороны, мне нужно было импортировать существующий пул ZFS.
Я читал, что H730 можно настроить для либо HBA, либо режима RAID. Однако это не так, по крайней мере, для последней прошивки. Я тестировал на R730, H730p mini mono и ESXI 7 - все работает отлично. Не нужно создавать виртуальный диск.
Кроме того, на ESXi 7 больше не требуется сквозная передача RDM!
Шаг 1 . Обновите PERC до последней версии 25.5.7.005. Установите режим RAID.
Шаг 2 . Создайте виртуальный диск для необходимой схемы аппаратного рейда.
Шаг 3 . Отметьте необходимые диски ZFS как диски без рейда.
Шаг 4 . Я не уверен, можно ли отключить кеш записи для дисков без рейда через BIOS, но мне удалось отключить кеш без рейда через OpenManage (конечно, кеш все еще включен для HW RAID):
Шаг 5 .Диски без рейда и диски RAID обычно видны на ESXi. Конечно, нет проблем с горячим подключением.
Устройства, обнаруженные vSphere
Шаг 6. Создайте / импортируйте FreeNAS VM. Отредактируйте настройки виртуальной машины, нажмите Добавить жесткий диск -> Новый необработанный диск. Будут показаны необработанные устройства без VMFS, и вы можете добавлять их по одному в качестве сквозной:
Новая сквозная передача RDM одним щелчком
Не забудьте оставить «Совместимость с дисками: физическая
Шаг 7 . Загрузите FreeNas, все транзитные диски будут видны как подключенные напрямую, включая серийные номера дисков, управление APM и т. Д.:
Нестандартные диски PERC h730p в FreeNAS
Шаг 8 . Используйте оболочку и проверьте smartctl:
Диски видны непосредственно FreeNas. Кроме того, я рекомендую перейти на TrueNas 12.0 - улучшение скорости и стабильности iSCSI - действительно большой шаг вперед. Больше никаких ошибок, прерванных ctl_datamove.
Вы также можете подключить любой другой диск в горячем режиме, установить для него режим nonraid через iDrac, а затем просто изменить параметры виртуальной машины в реальном времени и добавить новое устройство RAW, оно будет обнаружено и подключено к FreeNAS немедленно без перезагрузки конечно.
Я слишком много читал на форумах, что невозможно ... не уверен, добавили ли новые прошивки такую возможность, но на самом деле я более чем счастлив. Таким образом, система очень гибкая.
С одной стороны, iDrac полностью контролирует созданный виртуальный диск RAID (включая патрульное чтение и все такое), а с другой стороны, диски RAID, не относящиеся к Perc, контролируются через FreeNAS. Кроме того, поскольку это сквозная передача 1: 1, разумеется, температура дисков также отслеживается.
Небольшой совет: не забудьте отключить «Delayed ACK» при использовании программного обеспечения ESXi iscsi client. Накормите FreeNas приличным объемом оперативной памяти. После отключения отложенного подтверждения и обновления NAS до версии 12.0 (с 11.3 Freenas до TrueNAS) фактическое время резервного копирования iSCSI упало с 11+ часов до 3,5 часов.
С точки зрения iDrac это будет выглядеть так:
Однако помните что Write Cache нельзя отключить для Non-Raid дисков через iDrac, такой настройки нет в настройках контроллера. Итак, OpenManage (подтверждено) или, возможно, BIOS.
