Конфигурация Apache Hive в GCP - невежество?

Я попытался настроить кластер Apache Hive в GCP, используя следующую ссылку на облачная платформа Google.

https://cloud.google.com/solutions/using-apache-hive-on-cloud-dataproc

Я создал проект и имею кредиты на целые годы. Сценарий, упомянутый на этой странице, использует оболочку Google для настройки кластера вместо использования пользовательского интерфейса GCP.

В этом и заключается проблема, я выполняю все вышеперечисленные шаги и собираюсь создать кластер с помощью следующей команды - «Не работает» !!

gcloud dataproc clusters create hive-cluster. \
    --scopes sql-admin \
    --image-version 1.3 \
    --initialization-actions gs://dataproc-initialization-actions/cloud-sql-proxy/cloud-sql-proxy.sh \
    --properties hive:hive.metastore.warehouse.dir=gs://$PROJECT-warehouse/datasets \
    --metadata "hive-metastore-instance=$PROJECT:$REGION:hive-metastore"

Я получаю сообщение об ошибке «Недостаточно квоты« CPUS ». Запрошено 12.0, доступно 8.0».

Вот проблема. Если бы я использовал GCP UI - dataproc для создания кластера, я бы смог настроить CPU. Но у этого варианта есть свои ограничения по отношению к Hive.

Поэтому мне пришлось запустить кластер программно через оболочку. Теперь я не знаю, как это исправить, если только я физически не открою каждый сценарий оболочки, доступный в ведре Google, и не найду, где были установлены эти значения.

Кто-нибудь может помочь? Может, мне стоит взглянуть на это по-другому ...

0
задан 10 March 2019 в 21:27
1 ответ

Если ваша проблема связана только с проблемой квот, у нее есть простое решение, просто запросите увеличение квоты ЦП.

  1. Перейдите на свою страницу квот в Google Cloud Console.

  2. На странице квот выберите квоты, которые вы хотите изменить.

  3. Нажмите кнопку «Изменить квоты» вверху страницы.

  4. Установите флажок службы, которую вы хотите изменить, в в данном случае «Compute Engine API» и метрика «ЦП» .

  5. Введите свое имя, адрес электронной почты и номер телефона и нажмите «Далее».

  6. Введите свой запрос, чтобы увеличьте квоту и нажмите кнопку «Далее».

  7. Отправьте запрос.

  8. Вы получите ответ от команды Compute Engine в течение 24–48 часов с момента запроса.

2
ответ дан 4 December 2019 в 13:21

Теги

Похожие вопросы