У меня есть кластер Hadoop, в котором быстро заканчивается место. Этот кластер построен на виртуальных машинах RHEL7 на GCP (Google Cloud Platform) Compute Engine. Изначально я подготовил кластер с дисками 10 ГБ на 4 узлах, но этого кажется недостаточно, поскольку Ambari сообщает мне, что HDFS заполнена на 86%, хотя мне еще предстоит загрузить какие-либо данные. В любом случае, я вошел в консоль GCP и «расширил» свои диски до 20 ГБ на каждом узле. Думаю, у меня есть два вопроса: 1) Как мне установить дополнительную емкость в RHEL? 2) Как сообщить HDFS / Ambari использовать новую емкость?
Когда я запускаю 'fdisk -l', я вижу расширенный диск fdisk -l Но я не вижу его в df -h df -h В этом есть смысл, поскольку он еще не смонтирован.
Меня беспокоит fdisk. Все 20 ГБ отображаются в / dev / sda1, но df показывает только 10 ГБ. Как мне установить дополнительную емкость, если fdisk уже показывает емкость как разделенную? Поскольку я просто увеличил существующий диск вместо добавления нового, это не так?
Следующие шаги на Изменение размера файловой системы и разделов на постоянном диске должен помочь вам в процессе изменения размера PD.
Примечание: После сеанса команды fdisk (которая вносит изменения в таблицу разделов) и перед повторным чтением таблицы разделов используйте команду partprobe, чтобы уведомить ядро об изменении следующим образом:
demo@google-my-disk:~$ sudo partprobe /dev/sda1
и подтвердить изменения:
demo@google-my-disk:~$ sudo fdisk -l
И согласно "
Как вы можете указать HDFS / Ambari использовать новую емкость?
Начните с идентификации диска с файловой системой и разделом, используя следующую команду:
$ df -h
Вам нужно увеличить / home Пошаговые инструкции можно найти в следующем посте на Как увеличить емкость HDFS
Раздел был расширен, но файловая система на нем отсутствует. Используйте соответствующую команду, чтобы развернуть его. С ext4 (и некоторыми другими) вы должны использовать команду resizefs. Я не уверен насчет hdfs.