Отключите под дублируемым предупреждением блоков в менеджере Cloudera
У меня есть единственный сервер кластер Hbase, который я только использую в качестве конца приемника репликации HBase. Поэтому я не хочу копировать любые блоки в этом кластере (так как источник копировал блоки, я не чувствую, что мне нужен он).
Я хотел бы отключить "под дублируемыми блоками" предупреждение для этого экземпляра. Я попробовал две вещи:
- Установка фактора репликации для этого экземпляра к 1
- Устанавливание порогов к невозможным суммам (т.е. 200% под дублируемыми блоками). Это действительно останавливает предупреждение, но заменяет его недопустимыми предупреждениями конфигурации.
Кто-либо знает, как я могу выключить это конкретное предупреждение для кластера?
Выполните следующие два шага:
1) Измените коэффициент репликации из файловой системы хадуп. Убедитесь, что вы вошли в систему к пользователю, для которого у вас возникли проблемы со здоровьем, связанные с недостаточно реплицированными блоками:
su - hdfs
hadoop fs -setrep -R 1 /
или
su - oozie
hadoop fs -setrep -R 1 /
и т.д....
2) Измените Предупреждение и Критическое значение для "Порогов мониторинга недоступных блоков" из Cloudera Manager. Для CDH 5.0.0, goto:
CM Home > HDFS > Configuration > Service-Wide > Monitoring > Under-replicated Block Monitoring Thresholds
В CDH 5.0.0 стандартная ссылка:
http://localhost:7180/cmf/services/17/config?groupParent=config.HDFS.service_17&q=%22Under-replicated+Block+Monitoring+Thresholds%22
По моему опыту, проблема недостаточной репликации блока была вызвана плохим соединением между узлом данных и узлом имен. У вас может быть один узел данных на том же хосте, что и узел имени, и он сообщает, что hdfs в порядке, но блок не реплицируется, потому что другие узлы не взаимодействуют с узлом имени, поэтому только один узел активен и не реплицируется. Проверьте журналы hdfs для всех узлов данных, чтобы проверить это, прежде чем пытаться скрыть симптом каким-либо другим исправлением.