Как настроить Linux-машину, чтобы улучшить среднюю загрузку ЦП и использование ЦП
Мы работаем с огромным кластером Hadoop.
У нас есть 736 узлов данных. и каждый узел имеет 16 ядер X 2 потока.
На некоторых машинах мы видели среднюю загрузку ЦП (98-128 за 5 минут).
После тщательного исследования мы обнаружили, что:
no HW problem
no Disk proble
no network problem
no infra problem
То, что мы еще не проверили, это о настройке параметров linux и настройке параметров ядра.
Каковы параметры или какие-либо параметры ядра, которые могут помочь машинам добиться хорошей работы ЦП с большей средней НИЗКОЙ нагрузкой ЦП.
http://linuxrealtime.org/index.php/Improving_the_Real-Time_Properties
Настройка производительности - это сложная и большая область. Необходимо учитывать аппаратное обеспечение, параметры ядра, настройки программного обеспечения, архитектуру установки и другие факторы.
Поскольку вы запускаете большую установку, имеет смысл углубиться в эту область, поэтому я предлагаю начать с чтения RHEL Performance Tuning Руководство. Это должно стать хорошим руководством по теме с различными предложениями и идеями.
Ваш вопрос содержит слишком мало информации и подробностей, чтобы дать разумное предложение в направлении настройки параметров ядра.
Я думаю, что вы выполняете задание hadoop во время скачка ЦП, если это так, потребление ресурсов зависит от сложности задания и определенных параметров. Надеюсь, вы тоже работаете над этим? пряжа - это ресурсоемкое приложение. Используйте очередь ресурсов для регулирования потребления ресурсов.