Могу ли я использовать жесткие диски потребительского класса, которые не поддерживают TLER / ERC / CCTL, с ZFS (программный RAID), не попадая в неприятности позже, или мне нужно перейти на жесткие диски корпоративного класса, которые поддерживают TLER / ERC / CCTL?

Представьте себе, что каждый из ваших дисков - это "черный ящик" с определенными функциями, сроком службы и т.д. Все они работают независимо в вашем массиве хранения данных. Поэтому вы должны посмотреть на каждый из них независимо, чтобы понять, что произойдет в разных случаях.

Пример

Для этого вопроса предположим, что у вас есть пул, состоящий из 2 зеркальных дисков A и B. Возможны следующие комбинации:

1. A и B имеют TLER
2. A, B не
3. A не имеет его, но B имеет
4. A и B не имеют его

Если все работает нормально на всех дисках, то проблем не возникает.

Одна ошибка:

Если диск A испытывает ошибку при попытке прочитать блок, то именно такая ситуация возникает в каждом возможном случае:

1. Система запрашивает у диска блок. Диск пытается найти его снова и снова, и примерно через 7-9 секунд (независимо от таймаута TLER) контроллер выкидывает диск из массива. Система замечает, что одного диска не хватает, и делает все, что у вас есть (поднимает предупреждение по электронной почте, начинает ресельверизацию hotspare, ничего не делает и продолжает деградировать, ...)
2. То же самое, что и 1.
3. Система запрашивает диск для блока. Диск пытается найти его снова и снова, пока не достигнет своего собственного таймаута или пока не будет найден блок. Этот таймаут может составлять несколько минут и может быть разным для каждой модели и производителя. Если блок может быть найден, он читается нормально; если не удается, возвращается сообщение об ошибке для самого блока.
4. То же самое, что и 3.

Две ошибки (по одной на каждом диске):

Этот случай очень редкий, но теоретически возможен. На обоих дисках ошибка возникает точно на одном и том же блоке:

1. Оба диска будут сброшены, и ваш пул станет недоступен.
2. То же самое, что и 3 сверху.
3. То же самое, что и 3 сверху.
4. То же самое, что и 3 сверху.

Производительность против надежности

Как вы видели выше, вы должны сделать выбор в зависимости от вашей цели и расположения пула.

• Используйте TLER-диски, если вам всегда нужно минимальное время отклика и вы не можете выдержать длительный блокирующий лаг. Недостатком является то, что вы должны потенциально предоставить дополнительные диски (Z2 вместо Z1, Z3 вместо Z2, 3-зеркала вместо 2-х зеркал) или "горячие" спарривания для достижения того же среднего здоровья пула в конце концов. Кроме того, вы должны предусмотреть потенциально длительное время восстановления, что может негативно повлиять на общую производительность.
• Используйте диски, не являющиеся TLER, если бюджет или пространство ограничены, и задержка приемлема, если диски сохранены. Так как ZFS уже помогает в самовосстановлении поврежденных блоков, вам не нужно то, что было изначально предусмотрено TLER (контроллер должен бросать диски, чтобы началось самовосстановление)
• Установите тайм-аут диска на значение, с которым ваше приложение/архитектура может удобно работать. Таким образом, вы можете иметь корпоративные диски без падения или потребительские диски с падением, как вы предпочитаете. Не все диски модифицируемы, поэтому сначала проверьте онлайн перед покупкой.