Файловый сервер - конфигурация устройства хранения данных: RAID по сравнению с LVM по сравнению с ZFS что-то еще …?

Можно хотеть поглядеть в AFS. Это даст Вам некоторую меру обеих доступности (можно получить доступ к этим файлам и на и от сети), и дублирование (файлы могут копироваться). Для рабочего процесса, где Вы открываете файл, работу над ним в течение некоторого времени и затем сохраняете его, это было бы лучше (с сетевой точки зрения), чем NFS, по крайней мере, более старый NFS.

Используйте "mdadm" утилиту для создания массива RAID-5 из дисков.

Это обеспечивает дублирование, в котором Вы нуждаетесь, поэтому если диск идет неисправный, Вы можете заменить его без потери данных и также даете Вам использование 3 из 4 дисков.

Я также рекомендовал бы создать объем LVM сверху RAID, таким образом, можно разделить пространство по мере необходимости.

Смотрите на то, что предлагают Nexenta и OpenSolaris, и я думаю, что Вы будете очень рады, с которым Вы не можете добраться ни для чего. Это распространило слухи, что следующие выпуски OpenFiler будут использовать порт FreeBSD ZFS также (хотя, они находятся вполне позади с точки зрения функции).

Однако я стараюсь не делать RAID5, RAID6 или RAID50 в программном обеспечении и предпочитаю использовать аппаратные контроллеры для разгрузки всей работы XOR. RAID1 и RAID10 в программном обеспечении Linux работают вполне прилично, и оттуда я поместил LVM сверху их для разрешения большей гибкости войти, что сделано с блоками, которые я имею после дублирования на месте. RAID+LVM+XFS является моей любимой конфигурацией Linux., но я взял бы ZFS по нему в любой день.

RAID не похож на LVM. Можно использовать RAID для создания разделов отказоустойчивости, но LVM привык к легкому разбиению дисков на разделы и выпуску файловой системы. Можно использовать RAID по LVM, или ZFS (ZFS, может работать и RAID и LVM). По-моему, ZFS работает лучше, чем LVM, но:

• на Солярисе 10/11/OpenSOlaris только, Вы не можете использовать его из Linux
• ZFS является управлением дисками и файловой системой, LVM позволяют использовать любую файловую систему, в которой Вы нуждаетесь

На Ubuntu я предпочитаю использовать RAID5 MD с LVM.

Центральный вопрос: "Насколько важный эти данные?"

Если ответ, "Я могу воссоздать его легко", Вы хотите RAID5, возможно с LVM сверху его для простоты управления.

Если бы ответ, "Я могу воссоздать его, но он требовал бы времени, и люди жаловались бы, что" Вы хотите RAID 6 или более вероятный RAID 1/10.

Если ответ, "Никто не делает работы, в то время как я воссоздаю его и удостоверяюсь, что это разрядно-прекрасно", Вы хотите ZFS/Raid-Z

Обратите внимание, что Вы всегда можете воссоздать его. RAID не является резервным копированием.

ZFS действительно надежен, и он уверенный действительно делает Ваше управление хранением адской партией легче. В качестве награды: кто-то интегрируется с ZFS в OpenSolaris, и он обрабатывает Набег очень хорошо. Ожидайте несколько дней, загрузите к тому времени выпущенные 2 009,6 версий и дайте ей движение на тестовой машине. Я уверен, что Вы будете любить ZFS.

И о Вашем комментарии ZFS быть новым: не очень новый больше!

RAID по сравнению с LVM не является действительно хорошим сравнением, они выполняют отдельные роли и часто используются вместе. RAID используется для дублирования диска, LVM может использоваться для разбивания устройства RAID в логические тома, это используется для легкого изменения размеров, и для взятия снимков.

Как другой ответ говорит, LVM широко используется и может объединить несколько дисков в единственную "группу объема", которая похожа на одно огромное блочное устройство. Стоит помнить, тем не менее, что, делая это увеличивает Вашу вероятность отказа - только требуется один диск, чтобы не удаться в группе объема вынуть всю файловую систему, и если у Вас есть четыре объединенные диска, это в четыре раза более вероятно. Лучше всего использовать LVM сверху RAID1 или подобный для смягчения этого. RAID программного обеспечения Linux вполне достаточен для этого, хотя аппаратные средства RAID могут быть более удобными.

Извините это было бы комментарием, но у меня нет представителя...

Как RAID-Z или RAIDZ2 обеспечивают лучшее дублирование, чем RAID6?

ZFS имеет вычисление контрольной суммы везде

Об исходном вопросе. Безотносительно данных я использовал бы 2 активной четности на 10 дисков. Я использовал бы плату RAID хорошего качества 3ware, превосходны. Лично я использую аппаратные средства RAID с резервным аккумулятором. LVM именно так можно переместить данные легко в конце жизни аппаратных средств. XFS как файловая система.

Я выполнил файловый сервер для очень похожей компании/ситуации. В основном 3 отдела графики человека с 30 ТБ устройства хранения данных и ограниченным бюджетом небольшой компании. Наши типичные проекты работали от 0.5 ТБ до 6 ТБ. И файловый сервер служил значительной ферме рендеринга, которая могла действительно загнать на нем.

В моей установке я работал 3U сервер, запускающий Linux с внешним оборудованием массивы RAID6, присоединенные к нему. Я управлял физическими и логическими томами с LVM и выполнил файловую систему XFS. То, что я сделал бы, создают логический том для каждого проекта и затем разворачивают его, поскольку проект вырос. Когда проект был сделан, я мог заархивировать задание, чтобы записать на ленту и сдуть логический том. Это возвратило бы то пространство назад группе объема, где это перераспределить к следующему проекту (проектам).

Это было очень очевидным способом для использования нашего устройства хранения данных, но существует два недостатка к этому подходу. Вы заканчиваете тем, что имели необходимость микроуправлять размерами логических томов, пытающихся сбалансировать сумму места, выделенного к логическому тому так, чтобы у Вас было достаточно пространства, чтобы сделать Ваше задание, но не выделить его и закончить тем, что тратили впустую пространство. Наша ферма рендеринга была способна к генерации многих ТБ данных день и если бы Вы не обращали пристальное внимание на это, то у Вас закончилось бы пространство второпях. Я в конечном счете устанавливаю некоторые сценарии, которые контролировали тенденции в свободном месте на логических томах, и будет автоматический выращивать их. Даже с этим на месте приблизительно с 80 Логическими томами было много неиспользуемого места, занятого во всех логических томах. Я уже намекнул на 2-ю проблему.... LVM действительно не делает, тонкая резервация памяти и XFS только позволяют Вам выращивать файловую систему. Таким образом по выделению пространства к логическому тому может составить в целом много неприменимого пространства.

Это было всей установкой приблизительно 5 лет назад и если бы я настраивал ее сегодня, то я использовал бы OpenSolaris и ZFS. Главной причиной является объединенный подход устройства хранения данных ZFS, означает меньше управления томами. Можно все еще разделить каждый проект на его собственную файловую систему, но не имея необходимость микроуправлять размерами отдельных объемов. ZFS имеет некоторые другие очень хорошие функции, которые делают его лучшим выбором, но существуют другие вопросы на serverfault, которые входят в это.

По-моему, ZFS просто является лучшим бесплатным решением, доступным сегодня.

Некоторые вещи рассмотреть, остаетесь ли Вы с Linux:

• Думайте о файловой системе, также. Ваш 4x пример на 500 ГБ о самой большой мощности, которую я рекомендовал бы с хорошей совестью для ext3. Я не рекомендую создать намного большие ext3 файловые системы, потому что, например, fsck время может быть огромным. Создайте несколько меньшие вместо одной большой файловой системы.
• Поскольку Вы упомянули видеоданные: ext3 обрабатывает большие файлы неэффективно, потому что он должен будет создать косвенные, двойные косвенные и тройные косвенные блоки метаданных, чтобы хранить данные больших файлов, и Вы заплатите цену. В наше время ext4 поддерживает степени и обрабатывает это намного лучше. Но затем, это является довольно новым и например, Red Hat Enterprise Linux 5 еще не поддерживает его. (Дистрибутивы Some Enterprise будут поддерживать альтернативы как XFS).
• Если будет повреждение данных на каком-либо блоке данных, то Вам придется нелегко для ровного замечания этого с файловыми системами Linux. ZFS, с другой стороны, контрольные суммы, все метаданные и данные и также проверяют контрольную сумму каждый раз данные, читается из диска. (Существует также фоновое вычищение),
• RAID восстанавливает время на Linux, пропорционально размеру диска, потому что уровень RAID не знает содержание файловой системы (слой). RAID-Z ZFS восстанавливает время, зависит от объема фактических данных по неисправному диску, потому что только используемые блоки будут копироваться/восстанавливаться на замещающем диске.
• Вы хотите создать снимки свои файловые системы? Снимки LVM даже не соответствуют мгновенным снимкам ZFS. Последняя банка, также легко выставленная конечным пользователям, например, для легких восстановлений.
• Используйте RAID6 (RAID-Z2) и не только RAID5 (RAID-Z) с большими дисками (> 500 ГБ), потому что возможности состоят в том, что другой диск перестанет работать во время восстановленного.

Для подключения большого количества дисков в том же шасси аппаратный RAID-контроллер является лучшим инструментом. Это обеспечит много коннекторов SATA для Ваших дисков, redondancy через RAID-5 или предпочтительно RAID-6, и может обеспечить лучшую производительность также.

Программное обеспечение производительность RAID часто лучше, чем аппаратные средства RAID в сравнительных тестах, однако обслуживание файлов и программное обеспечение RAID являются и интенсивным ЦП и конкурируют за Ваши процессоры при работе. Мой опыт показывает, что, если Вы не используете двойные четырехъядерные системы, правильно настроенные аппаратные средства, RAID победит программное обеспечение RAID без всяких усилий.

Хорошие аппаратные контроллеры с хорошей поддержкой Linux:

• Areca
• 3Ware
• новая серия Adaptec (старым является slooooow),
• LSI MegaRAID

Почему Вы не используете диск или карту SSD, чтобы иметь системный сервер для загружений и 500 ГБ как только устройство хранения данных. Используйте один диск на 500 ГБ и когда это станет полным обменом это вручную. Можно сделать резервное копирование позже в другом компьютере со спокойствием. Поскольку, в то время как жесткий диск поворачивается (вращение) его может быть повреждено. Так или иначе, если Вы соединяете все диски одновременно, они все поворачиваются и могут нанести ущерб, если Вы используете его или нет. Вероятность отказа повышает, когда у Вас есть больше включенных дисков. Используйте один во время и обменивайтесь им, когда полны, или в промежуток времени, ожидая отказ (используйте также УМНУЮ возможность избавиться от этого). Используйте диск переноса или используйте некоторый внешний дисковый адаптер SCSI/SATA, таким образом, Вам не нужен к dissasemble компьютерный сервер каждый раз, когда Вы обмениваетесь диском. Это - самая безопасная и надежная форма. Используя RAID является более дорогим, и Вы просто тратите впустую некоторые диски (потому что Вы позволяете, он включил в риске ставших, поврежденных для того, чтобы только позволить, он включил? глупый, или нет?). Если Вы хотите больше datatroughtput затем с помощью конфигурации RAID, для которой я предполагаю, хороший выбор, но никогда не доверяйте конфигурации компьютера. Резервное копирование должно быть сделано всегда вручную с человеком (сеть или администратор сервера). Это - одна из работ администратора. Можно использовать ленты, DVD, BlueRay или другие диски, чтобы сделать резервное копирование. Но Вам всегда будет нужен носитель надежного хранения, и рабочий диск не является тем. Выключенный диск и хорошо сохраненный (в новом и свободном из места влажности) является носителем надежного хранения.