Соответствующая сетевая файловая система для огромного (5 + Гбит) файлы
Посмотрите эту страницу, которая содержит полезную информацию для записи milters в Python.
Поскольку вы проводите анализ производительности, первый вопрос должен быть таким: «На каких данных я основываю свое предположение? Существуют ли сетевые трассировки или другие данные о производительности, которые подтверждают эту гипотезу?»
Там - множество возможных узких мест в такой системе, и я бы поставил под сомнение выбор сетевой файловой системы в последнюю очередь, тем более, что вы, похоже, не записываете значительные объемы данных и блокировку / параллелизм, а сопутствующие проблемы с задержкой будут наиболее вероятным узким местом причин с NFS.
С другой стороны, 32 одновременных запроса на 8 ГБ данных каждый, вероятно, перегрузят любой отдельный диск SATA из-за довольно ограниченного рейтинга операций ввода-вывода в секунду для одного диска. Простой расчет, предполагающий размер блока чтения 64 КБ на запрос и 100 операций ввода-вывода в секунду для диска, даст скорость всего 6, 4 МБ / с для произвольных запросов чтения - это то, что вы получите с таким количеством одновременных считывателей, если только вы не сильно кэшируете данные.
Вам следует внимательно посмотреть на показатели производительности, предоставляемые iostat , чтобы увидеть, не перегружен ли ваш диск. И если это так, примите соответствующие меры (например, получите приличную подсистему хранения, способную справиться с нагрузкой), чтобы исправить ситуацию.
Скорее всего, это не ограничение NFS, с которым вы здесь сталкиваетесь.
Также примите во внимание, что эти 5 Гбайт занимают как минимум 40 секунд для передачи на гигабитной проводной скорости - для каждого клиента. У вас 32 из них бьют по голове2, и вряд ли они будут запрашивать одни и те же блоки одновременно. Добавьте Ethernet, TCP / UDP и накладные расходы NFS, и вы скоро столкнетесь с описанными вами минутами.
Итак, прежде чем пытаться заменить NFS чем-либо еще (да, есть протоколы с меньшими накладными расходами), проверьте каждый часть пути данных (начиная с дисковой подсистемы) для любых возможных узких мест. Если есть сомнения, выполните сравнительный анализ.
Устранить эти узкие места (если таковые имеются) с помощью дополнительного или лучшего оборудования будет проще, чем полностью изменить настройку программного обеспечения.
У меня очень похожая среда (множество блейд-серверов в качестве рабочих узлов и огромные файлы на каждом несколько ГБ или даже ТБ). Я использую распределенную файловую систему Hadoop (HDFS). Проверьте:
http://en.wikipedia.org/wiki/Hadoop_Distributed_File_System#Hadoop_Distributed_File_System
http://hadoop.apache.org/docs/r0.18.0/hdfs_design.pdf
Вы можете найти это немного сложнее настроить, чем NFS.