Вопросы Теги

Какие измерения задержки разделения производятся с помощью httping?

Я использовал httping для мониторинга производительности моего балансировщика нагрузки .

Утилита httping принимает аргумент -S, который кратко описывается на странице руководства:

-S Разделить измеренную задержку во времени для подключения и времени для обмена запросом с HTTP-сервером.

Результат выглядит следующим образом: вот так:

подключен к [hostname-snip]: Я получаю следующую ошибку 

OpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000fbe00000, 24641536, 0) failed; error='Cannot allocate memory' (errno=12)
There is insufficient memory for the Java Runtime Environment to continue.
Native memory allocation (mmap) failed to map 24641536 bytes for committing reserved memory.
An error report file with more information is saved as:/home/chris/hs_err_pid21047.log

Я выполнил только две следующие команды: 

data = (
     spark.read.format("text")
    .option("header", "true")
    .option("inferSchema", "true")
    .load("gs://bucketpath/csv")
)
data.show()

CSV-файл хранится в хранилище Google, а размер файла составляет 170 МБ

Ниже приведены подробные сведения о конфигурации моего кластера. 

Name    cluster
Region  australia-southeast1
Zone    australia-southeast1-b
Master node 
Machine type    n1-highcpu-4 (4 vCPU, 3.60 GB memory)
Primary disk type   pd-standard
Primary disk size   50 GB
Worker nodes    5
Machine type    n1-highcpu-4 (4 vCPU, 3.60 GB memory)
Primary disk type   pd-standard
Primary disk size   15 GB
Local SSDs  0
Preemptible worker nodes    0
Cloud Storage staging bucket    dataproc-78f5e64b-a26d-4fe4-bcf9-e1b894db9d8f-au-southeast1
Subnetwork  default
Network tags    None
Internal IP only    No
Image version   1.3.14-deb8

Это выглядело как проблема с памятью, поэтому я попытался изменить тип машины на n1-highcpu-8 (8 виртуальных ЦП, 7,2 ГБ памяти), однако я не могу запустить сообщение экземпляра, поскольку я получаю следующая ошибка 

Quota 'CPUS' exceeded. Limit: 24.0 in region australia-southeast1.

Поэтому я не уверен, что нужно сделать для решения проблемы. Я новичок в Google Cloud Platform и буду очень признателен за любую помощь, чтобы решить эту проблему. Это для сверхкритического проекта

0
задан 31 October 2018 в 06:28
1 ответ

Из-за ошибки вы достигли предела квоты ЦП для вашего региона GCP - australia-southeast1. У вас есть как минимум два варианта -

  1. Запросить увеличение квоты для процессоров вычислительного ядра. Посетите страницу квот в IAM, выберите свой регион в разделе «Местоположение», выберите «ЦП Compute Engine API» и нажмите «Изменить квоту», чтобы запросить увеличение.

    Прямая ссылка (измените «YOUR-GCP-PROJECT-ID») - https://console.cloud.google.com/iam-admin/quotas?project=YOUR-GCP-PROJECT-ID&location=australia-southeast1

  2. Создайте кластер ЦОД с меньшим количеством рабочих узлов ИЛИ небольшим виртуальным ЦП типы машин. Если предоставленные стандартные типы компьютеров не соответствуют вашим требованиям, попробуйте пользовательские типы компьютеров .

Вы также можете проверить лимит квоты ЦП с помощью инструмента gcloud cli -

список вычислительных регионов $ gcloud - -filter = 'имя = австралия-юго-восток1' ИМЯ CPUS ДИСКИ_ГБ АДРЕСЫ РЕЗЕРВНЫЕ_АДРЕСЫ СТАТУС TURNDOWN_DATE австралия-юго-восток1 0/8 0/2048 0/8 0/1 UP

0
ответ дан 5 December 2019 в 05:09

Теги

Похожие вопросы