Неблагоразумные ожидания производительности RAID 0 производительности?
Это - мой первый раз, создающий машину с аппаратной платой RAID. Мы купили Dell T620 с H710P RAID controller (1GB NV Cache), a 160GB Solid State Drive (SATA Read Intensive MLC 3Gbps), и два 3TB 7.2K RPM Near-Line SAS 6Gbps Hard Drives. Твердотельный накопитель в значительной степени выделен ОС для хранения этого "hoppin".
Два диска SAS настроены RAID 0. Мы рассматриваем это пространство как царапину для исследований, таким образом, мы не обеспокоены потерей данных. То, что мы хотим, является высокоэффективным IO, потому что мы имеем дело с большим количеством больших файлов. Например, мой текущий проект состоит в том, чтобы работать с 800 файлами, располагающимися в размере 100-200GB. К сожалению, я должен передать файлы компьютеру, проанализировать их и удалить их. Удивительно (мне), то, что у меня было 8 заданий, работающих одновременно (передача, анализ, удаляя), и каждое задание было на правильном пути для 20 + время выполнения часа (по сравнению с ~3 часами для единственного задания). Я нашел, что процессоры ожидали на IO, согласно вершине (время, ожидая завершения ввода-вывода колебалось приблизительно 20).
Я понимаю, что это только 7.2k диски об/мин, но я предположил, что они довольно способны, так как Dell перечислил их на уровне 6 Гбит/с. BeowulfNode42 упомянул здесь, что некоторые диски получают интерфейс на 6 Гбит/с для рекламы, даже при том, что они не могут даже насыщать ссылку на 3 Гбит/с. Но я предполагаю, что Dell не сделал бы этого с высокопроизводительным сервером.
Я прогулялся вокруг земли Google, чтобы видеть, были ли мои ожидания неблагоразумны, но я ничто не нашел категоричным.
Вопрос: Что такое разумное ожидание этой установки? IO является, очевидно, горлышком бутылки. Плата RAID кажется довольно хорошей, и я думал, что диски были довольно хороши.
Я выполнил hdparm для наблюдения то, что я получаю. Вот результаты:
>sudo /usr/sbin/hdparm -Tt /dev/sdb
/dev/sdb:
Timing cached reads: 19542 MB in 2.00 seconds = 9778.47 MB/sec
Timing buffered disk reads: 1028 MB in 3.00 seconds = 342.11 MB/sec
Кэшируемые чтения довольно качаются', но я ожидал больше от буферизированных чтений. Я полагаю, что теоретический вывод для двух дисков на 6 Гбит/с является 750MB/s, таким образом, я ожидал добираться где-нибудь вокруг 600MB/s.
Я признателен за Вашу помощь. Другая релевантная информация упоминается ниже. Сообщите мне, пропустил ли я что-нибудь.
OS: opensuse 13.1
RAM: 256GB (1866)
CPUs: Dual Intel Xeon E5-2650v2 2.6GHz, 20M Cache, 8.0GT/s QPI
6 Гб - это скорость соединения SAS, а не IO-профиль одного диска.
Обычно скорость в объединительной панели SAS согласовывается с наименьшим общим знаменателем, поэтому вы найдете медленные диски, которые все еще поддерживают высокоскоростные соединения SAS, чтобы вы могли смешивать диски в одном (внешнем) корпусе или объединительной панели, или чтобы получить выгоду от параллельного ввода-вывода, распределенного на большее количество дисков.
Профиль HP IO для аналогичных 3 ТБ 7.2k 6 ГБ дисков SAS:
SAS Midline диски предназначены для серверов и систем хранения данных, где требуется большая емкость. Эти диски имеют умеренную цену на надежность и производительность для приложений с низкой рабочей нагрузкой, не требующих разрешения, таких как резервное копирование, архивирование и справочные приложения.
hdparm в лучшем случае является показателем производительности необработанного диска, но он, например, полностью обходит файловую систему, а также не моделирует более случайный ввод-вывод, AFAIK. Взгляните на Что такое хороший бенчмарк свободного жесткого диска с открытым исходным кодом?
hdparm -T по существу проверит производительность чтения дискового кэширования, которым является процессор и память. При этом проверяется, какую скорость чтения вы получите при кэшировании файлов в памяти (см. раздел "Кэширование" для бесплатной команды).
Диски SAS ближней линии не являются полными SAS-накопителями. Они имеют те же преимущества, что и диски SAS, но все же являются механическими дисками со скоростью вращения шпинделя 7200 об/мин. hdparm -t рисунок, который вы дали, примерно равен двум дискам в массиве RAID0. Для сравнения: диски SATA емкостью 3 ТБ, как правило, имеют скорость около 150 Мб/с.
Для повышения производительности вы будете рассматривать возможность добавления дополнительных дисков. Возьмем, к примеру, Hadoop, где рекомендуется получить лучшую цену за гигабайт и использовать больше дисков, а также добавить больше серверов в кластер. Если вам нужна молниеносная HD производительность, лучше подойдут твердотельные накопители большей емкости, хотя их интенсивное использование может привести к ранним сбоям из-за более частых циклов чтения/записи
.