Существует ли способ получить список машин кластера Hadoop от одного из узлов данных?
2 ответа
Можно считать конфигурационный файл узла данных, конкретно hdfs-site.xml. Это перечислит namenode, с которым узел данных попытается соединиться.
1
используйте следующий скрипт
#!/bin/bash
date >> list_of_datanodes
bin/hadoop dfsadmin -report > dfsstat.txt
cat dfsstat.txt |grep 'Datanodes available' --color >> list_of_datanodes
cat dfsstat.txt |grep 'Name:' --color >> list_of_datanodes
rm -rf dfsstat.txt
1