Я попытался настроить кластер Apache Hive в GCP, используя следующую ссылку на облачная платформа Google.
https://cloud.google.com/solutions/using-apache-hive-on-cloud-dataproc
Я создал проект и имею кредиты на целые годы. Сценарий, упомянутый на этой странице, использует оболочку Google для настройки кластера вместо использования пользовательского интерфейса GCP.
В этом и заключается проблема, я выполняю все вышеперечисленные шаги и собираюсь создать кластер с помощью следующей команды - «Не работает» !!
gcloud dataproc clusters create hive-cluster. \
--scopes sql-admin \
--image-version 1.3 \
--initialization-actions gs://dataproc-initialization-actions/cloud-sql-proxy/cloud-sql-proxy.sh \
--properties hive:hive.metastore.warehouse.dir=gs://$PROJECT-warehouse/datasets \
--metadata "hive-metastore-instance=$PROJECT:$REGION:hive-metastore"
Я получаю сообщение об ошибке «Недостаточно квоты« CPUS ». Запрошено 12.0, доступно 8.0».
Вот проблема. Если бы я использовал GCP UI - dataproc для создания кластера, я бы смог настроить CPU. Но у этого варианта есть свои ограничения по отношению к Hive.
Поэтому мне пришлось запустить кластер программно через оболочку. Теперь я не знаю, как это исправить, если только я физически не открою каждый сценарий оболочки, доступный в ведре Google, и не найду, где были установлены эти значения.
Кто-нибудь может помочь? Может, мне стоит взглянуть на это по-другому ...
Если ваша проблема связана только с проблемой квот, у нее есть простое решение, просто запросите увеличение квоты ЦП.
Перейдите на свою страницу квот в Google Cloud Console.
На странице квот выберите квоты, которые вы хотите изменить.
Нажмите кнопку «Изменить квоты» вверху страницы.
Установите флажок службы, которую вы хотите изменить, в в данном случае «Compute Engine API» и метрика «ЦП» .
Введите свое имя, адрес электронной почты и номер телефона и нажмите «Далее».
Введите свой запрос, чтобы увеличьте квоту и нажмите кнопку «Далее».
Отправьте запрос.
Вы получите ответ от команды Compute Engine в течение 24–48 часов с момента запроса.