Оптимальная настройка RAID 6 + 0 для 40+ дисков по 4 ТБ
Я настраиваю JBOD, содержащий 44 жестких диска SAS 4 ТБ 7200 об / мин. Я выбрал RAID 60, так как предпочитаю защиту от сбоев диска улучшениям производительности, предлагаемым RAID 10. Моя проблема заключается в том, как выбрать оптимальные диски для каждого участка, которые позволят сократить время восстановления. Например, если я оставлю 4 горячих резерва, это приведет к 40 дискам для следующих возможных конфигураций RAID:
- 2 участка с 20 дисками, полезная емкость ~ 144 ТБ.
- 4 участка с 10 дисками, ~ 128 ТБ полезная емкость.
- 5 участков с 8 дисками, полезная емкость ~ 120 ТБ.
- 8 участков с 5 дисками, полезная емкость ~ 96 ТБ.
Я склоняюсь к 4 участкам по 10 дисков, поскольку это, кажется, предлагает лучший баланс отказоустойчивости (допускаются 2 из 10 отказов дисков на один участок) и полезной емкости (80%, по сравнению с 90% для двух участков по 20 дисков).
Однако, какое время перестройки можно ожидать для одного участка из 10 дисков? Веб-поиск показывает, что даже 10 дисков может оказаться невозможным, так как восстановление может занять слишком много времени, что может привести к отказу дополнительного диска во время восстановления. Однако многие ресурсы в Интернете основаны на меньшем количестве дисков или на дисках с меньшей емкостью.
Есть ли какие-либо соображения относительно того, что является оптимальной настройкой для этого относительно большого количества дисков?
ПРИМЕЧАНИЕ. Существует политика резервного копирования примерно для 10 ТБ. данных, но невозможно сделать резервную копию всех данных. Следовательно, я склоняюсь к RAID 60 вместо RAID10. Я понимаю, что это не заменяет резервное копирование, но более эффективное восстановление после сбоя диска делает систему более надежной, предоставляя возможность перестроить, а затем перенести данные в другое хранилище в случае сбоя нескольких дисков.
РЕДАКТИРОВАТЬ: Спецификации:
- Диски: Жесткий диск Seagate 4 ТБ SAS 3,5 дюйма, 7200 об / мин, корпоративного уровня.
- Контроллер: Контроллер ServerRAID M5016, включая RAID6, набор микросхем LSI2208. См .: https://www.broadcom.com/products/storage/raid-on-chip/sas-2208 .
- Корпус: хранилище Supermicro 4U JBOD 45x3.5 с резервными модулями питания 2x1400 Вт.
- ОС: CentOS Linux, выпуск 7.1.1503 (Core).
Спасибо за помощь.
С современными аппаратными RAID-контроллерами от Avago (LSI) или Microsemi (Adaptec) идеально подходят RAID-массивы с 20 + 2 дисками. Время восстановления приемлемое (менее 24 часов). В любом случае, у нынешних приводов очень низкая частота отказов. Я бы определенно использовал 2 пролета.
Основываясь на полученных замечательных комментариях, я попытался создать RAID60, состоящий из 5 участков по 8 дисков в каждом, по следующим причинам:
На основании недавней перестройки, которая включала 2 участка по 20 дисков, я оцениваю время восстановления для конфигурации 8 + 2 должно быть разумным.
Полезная емкость немного уменьшается по сравнению с участками с большим количеством дисков (например, 10 или 20 дисков на участок). Хотя потеря 20 ТБ кажется значительной, меньший размер диапазона означает, что восстановление будет осуществимо, - это приемлемый компромисс.
Я дополню этот ответ любой дополнительной информацией, которую собираю.
Редактировать: Удален RAID5 как приемлемый вариант.
С дисками 4 ТБ 7,2 КБ я бы рекомендовал сделать подмассивы как можно меньше - на самом деле 5 дисков вообще не оправдывают использование RAID 6.
Мои 2c - это использовать RAID 10, где вы можете ожидать завершения перестройки в течение 12 часов, чего, скорее всего, не будет в массиве RAID 6 с 5 дисками 20 ТБ.
Убедитесь, что вы включили ежемесячную очистку данных / патрулирование носителей / что-то еще. вызывается здесь, чтобы обнаружить ошибки чтения, прежде чем они смогут остановить перестроение. Чаще всего причиной сбоя восстановления является не полностью отказавший диск, а довольно старый,все же необнаруженная ошибка чтения, которую можно было исправить обычной очисткой.
На таком большом массиве я бы действительно использовал RAID10 или эквивалентную настройку с зеркалированием ZFS. Вы можете установить глобальный «горячий» резерв RAID10 + 2 с 42 дисками (для полезного пространства ~ 82 ТБ), и он обеспечит отличную защиту от сбоев дисков с очень быстрым временем восстановления.
Если вы действительно, действительно хочу использовать RAID6, я склоняюсь к 5x 10-дисковым пролетам.