Какова опасность в наличии полностью используемый, ЗАГРУЖАЮТ сервер Ubuntu?
Я в области информатики, и я провожу исследование в области биоинформатики. В настоящее время 746 на Биозвездах :)
Я действовал, биоинформатика вычисляют средства в течение 3 лет в университете (приблизительно 40 серверов Linux, 300 центральных процессоров, дисковое пространство на 100 ТБ + резервные копии, о 1T общее количество RAM - серверы, располагающиеся 16 - 256 ГБ RAM). Наш кластер имеет 32 с 8 ядрами, вычисляют узлы, 2 главных узла, и мы расширяемся, он с 2 более с 48 ядрами вычисляет узел. Мы служим файлам вычислить узлам по NFS.
Я рекомендовал бы переключиться на NFS для Вашей ситуации.
Мы рассмотрели переключение на Gluster, Блеск и Samba, но решили не использовать их.
NFS
У меня есть несколько основных подсказок о NFS:
- Имейте выделенный сервер NFS. Дайте ему 4 ядра и 16 ГБ RAM. Выделенный сервер более безопасен и легче поддержать. Это - намного более стабильная установка. Например, иногда необходимо перезагрузить сервер NFS - выделенный сервер не приведет дисковые вычисления доступа к сбою - они просто заморозятся и продолжатся, после того как сервер NFS вернулся.
- Служите Вашему вычислять и главные узлы только. Никакие рабочие станции. Никакая сеть общего пользования.
- Используйте версию 3 NFS. На основе моего опыта NFSv4 был более хрупким - больше катастрофических отказов - тяжелее для отладки. Мы переключали кластер от NFSv3 до NFSv4 и назад несколько раз перед урегулированием. Это - локальная сеть, таким образом, Вам не нужна безопасность (целостность и/или конфиденциальность) NFSv4.
Оборудование систем хранения
Наш текущий кластер был куплен 3 года назад, таким образом, он не использует SAS, а скорее имеет расширяемый FiberChannel диски и san контроллеры. Это изменяется, всем новым устройством хранения данных, которое мы покупаем, является SAS.
Я предложил бы рассмотреть устройство хранения данных SAS. SAS заменяет FiberChannel в качестве более дешевого, быстрее и лучшего решения. Недавно я провел исследование в области различных предлагаемых решений. Удобно опции, на которые мы смотрели, документируются Отказа сервера: Что такое SAS внешние возможности хранения (Обещание, Infortrend, SuperMircro...)?
Мы недавно заказали SAS на 24 ТБ 6 ГБ - система хранения SAS на 6 ГБ от RAID Incorporated. Только для устройства хранения данных мы заплатили $12 тысяч. Порядок должен прибыть через несколько недель. Это - no-single-point-of-failure система - все компоненты избыточны и автоматически заменяют, если какие-либо компоненты перестали работать. Это присоединено к 2 серверам каждое использование различного раздела массива. Это - готовое решение поэтому, после того как это поставляется, мы просто должны соединить его, включить его, и это будет работать (разделы RAID6 будут смонтированы на Linux). Порядок также включал серверы, и RAID Incorporated регулировка Linux Debian на серверах не ни для каких дополнительных расходов.
Другие соображения
К сожалению, если Вы делаете операции инфраструктуры биоинформатики, вероятно, необходимо стать гуру устройства хранения данных.
Для Вашего раздела на 10 ТБ выберите RAID6 - 2 диска могут перестать работать, не теряя Вас данные. Восстановление диска на 2 ТБ на горячее резервирование занимает 24 часа, другой управляет, может перестать работать в течение того времени. У меня было 2 сбоя дисков одновременно в 16 дисковых массивах.
Рассмотрите выделение одного диска быть горячим резервированием в массиве. Когда у Вас есть более затем 16 дисков затем, я сказал бы, что горячее резервирование - необходимость.
Думайте о плане действий, если аппаратные средства перестали работать на выделенном сервере NFS. Я сохранил бы близнеца как вычислить узел как потенциальная замена для исходного сервера NFS.
Наконец, я должен упомянуть, что наш файловый сервер работает, OpenSolaris (звучит необычным - я знаю). OpenSolaris (как оказалось, для нас) имеет превосходную поддержку серверного оборудования (FiberChannel, IniniBand...). Установка размолотого сервера NFS занимает 1 час - все абсолютно прямые шаги a: установите OS, обновление через NAT, сеть установки, создайте пул zfs, создайте zfs файловые системы, совместно используйте NFS. Sun был теми, кто разработал NFS в 1984, не удивительно, OpenSolaris очень хорош в обслуживании NFS. Главной причиной использовать OpenSolaris был ZFS - хорошая файловая система для биоинформатики. Некоторые функции, которые я люблю:
- Целостность (все записи проверены суммированием),
- Объединенное в пул устройство хранения данных, снимки
- Экспорт NFS, настраивают в подаваемой файловой системе
- Сжатие онлайн
- Резервирование (располагают гарантии с интервалами),
- Дедупликация блочного уровня
- Эффективные резервные копии (см.
zfs send).
Используя Linux для Вашего NFS сервер был бы прекрасен - в этом случае придерживаются XFS или Ext4.
Swap в основном выполняет две роли - во-первых перемещать менее используемые «страницы» из памяти в хранилище, чтобы память могла использоваться более эффективно. Во-вторых, если памяти недостаточно, она «добавляет» память.
Если это первый случай, все в порядке. В последнем случае возможны два сценария. Во-первых, вы бы увеличили использование диска. Если ваши диски недостаточно быстры, чтобы не отставать, ваша система может перестать работать, и вы столкнетесь с замедлением работы по мере того, как данные загружаются и выгружаются из памяти. Это приведет к возникновению узких мест.
Вторая возможность - вы можете запустить из памяти, что приведет к странности и сбоям.
Есть несколько способов обойти это. Во-первых, еще своп. Одним из вариантов может быть увеличение размера раздела подкачки при следующем обслуживании или переключение на файл подкачки . Оба этих подхода решают основную проблему, но в краткосрочной перспективе должны помочь вам.
Реальное реальное решение - добавить больше памяти. Замены настоящей масляной памяти не существует, и если у вас достаточно памяти, вы будете менять меньше мест.
Если вы по какой-то причине все еще интенсивно меняете местами, несмотря на то, что ваша память исчерпана, подумайте об использовании более быстрого хранилища для swap - SSD может быть вариантом, который быстрее, чем замена на вращающемся диске. Скорее всего, это приведет к созданию более быстрой системы, чем использование вращающегося диска, и с достаточно большим SSD, с большим набором свободного места, вы можете максимально продлить срок службы диска и повысить стабильность производительности , при за счет некоторого места. Это возврат, но вариант с отдельным подкачивающим диском может быть здесь.
Если вы хотите сделать это правильно , вы также можете решить , что расходует столько баран, а почему. Htop - хорошее начало, и есть целый вопрос по этому , затем попытайтесь настроить программу по мере необходимости. Это, конечно, зависит от общей производительности и других требований и может быть специфическим для программы и того, для чего она используется
за счет большего количества свободного пространства можно увеличить срок службы диска и повысить стабильность производительности за счет некоторого пространства. Это возврат, но вариант с отдельным подкачивающим диском может быть здесь.Если вы хотите сделать это правильно , вы также можете решить , что расходует столько баран, а почему. Htop - хорошее начало, и есть целый вопрос по этому , затем попытайтесь настроить программу по мере необходимости. Это, конечно, зависит от общей производительности и других требований и может быть специфическим для программы и того, для чего она используется
за счет большего количества свободного пространства можно увеличить срок службы диска и повысить стабильность производительности за счет некоторого пространства. Это возврат, но вариант с отдельным подкачивающим диском может быть здесь.Если вы хотите сделать это правильно , вы также можете решить , что тратит столько баран, а почему. Htop - хорошее начало, и есть целый вопрос по этому , затем попытайтесь настроить программу по мере необходимости. Это, конечно, зависит от общей производительности и других требований и может быть специфическим для программы и того, для чего она используется
Это возврат, но вариант с отдельным подкачивающим диском может быть здесь.Если вы хотите сделать это правильно , вы также можете решить , что расходует столько баран, а почему. Htop - хорошее начало, и есть целый вопрос по этому , затем попытайтесь настроить программу по мере необходимости. Это, конечно, зависит от общей производительности и других требований и может быть специфическим для программы и того, для чего она используется
Это возврат, но вариант с отдельным подкачивающим диском может быть здесь.Если вы хотите сделать это правильно , вы также можете решить , что расходует столько баран, а почему. Htop - хорошее начало, и есть целый вопрос по этому , затем попытайтесь настроить программу по мере необходимости. Это, конечно, зависит от общей производительности и других требований и может быть специфическим для программы и того, для чего она используется
Я не уверен, что вы подразумеваете под полным, но предполагаю, что он используется все время. Если ваша система часто использует свопинг, это повлияет на производительность системы в целом, поскольку традиционные диски намного медленнее, чем ОЗУ. Вам необходимо либо настроить и настроить некоторые из ваших приложений, чтобы использовать меньше ресурсов, либо добавить больше оперативной памяти.