Диспетчер задач Flink на ECS не может подключиться к диспетчеру заданий на EC2.

У меня есть экземпляр EC2, который находится в us-east-1b, и на нем запущен диспетчер заданий flink, который отвечает за координацию работы нескольких диспетчеров задач через RPC, и сервер истории. Из netstat я вижу, что диспетчер заданий прослушивает :::6123входящие соединения диспетчера задач.

У меня есть группа автоматического масштабирования, которая запускает экземпляр EC2 в той же az, подсети и группе безопасности, что и экземпляр EC2.

Группа безопасности разрешает весь трафик на всех портах от любого источника в группе к любому назначению в группе.: Inbound Rules Outbound Rules

Я использую эту ASG в качестве поставщика пропускной способности для задач ECS. Затем я пытаюсь запустить задачу в ECS, которая запускает диспетчер задач и использует этот ASG.

Диспетчер задач запускается, но не подключается к диспетчеру заданий.:

2021-09-28 13:52:08,651 INFO  org.apache.flink.runtime.taskexecutor.TaskExecutor           [] - Could not resolve ResourceManager address akka.tcp://flink@ip-xxx-xx-x-xxx.ec2.internal:6123/user/rpc/resourcemanager_*, retrying in 10000 ms: Could not connect to rpc endpoint under address akka.tcp://flink@ip-xxx-xx-x-xxx.ec2.internal:6123/user/rpc/resourcemanager_*.

Я выполнил ssh-d для экземпляра, запущенного ASG, и подтвердил, что могу скрутить диспетчер заданий ip-xxx-xx-x-xxx.ec2.internal:8081-, он работает. Итак, я знаю, что экземпляр диспетчера задач может видеть экземпляр диспетчера заданий.

Подводя итог:

  • Диспетчер задач и диспетчер заданий находятся в одном и том же VPC, в одной зоне доступности, в одной подсети и в одной группе безопасности
  • Группа безопасности разрешает весь входящий трафик из источников в одной группе безопасности
  • Группы безопасности разрешают весь исходящий трафик в любое место назначения.
  • Диспетчер заданий работает на экземпляре EC2, созданном вручную.
  • Диспетчер задач работает на экземпляре EC2, созданном ECS как часть ASG.Диспетчер задач работает в контейнере на ECS
  • Я могу свернуть диспетчер задач с узла диспетчера задач
  • Диспетчер задач и диспетчер задач взаимодействуют через RPC
  • Диспетчер задач не разрешает адрес диспетчеру задач

Почему не удается? моя задача подключиться? Я также пробовал общедоступный IP-адрес (v4)и частный IP-адрес (v4).

0
задан 28 September 2021 в 14:00
1 ответ

Сегодня я обнаружил, почему это не работает.

Диспетчер заданий был настроен с :

jobmanager.rpc.address: localhost

, поэтому, прослушивая правильный порт rpc, он не принимал трафик на любой другой адрес.

Когда я изменил его, чтобы он соответствовал диспетчеру задач :

jobmanager.rpc.address: ip-xxx-xx-x-xxx.ec2.internal

, диспетчер задач сразу подключился.

1
ответ дан 29 September 2021 в 15:10

Теги

Похожие вопросы