Как правильно изменить конфигурацию kubelet и уровня управления с помощью kubeadm?

Я установил кластер kubernetes (v1.20.0) с 3 мастерами и 3 узлами, используя kubeadm init и kubeadm join , все на Ubuntu 20.04. Теперь мне нужно обновить конфигурацию и

• Добавить - cloud-provider = external флаг запуска kubelet на всех узлах, поскольку я собираюсь использовать vsphere-csi-driver
• Изменить - service-cidr из-за требований сети

Однако я не совсем уверен, как правильно вносить эти изменения.

Kubelet

При просмотре /etc/systemd/system/kubelet.service.d/10-kubeadm.conf есть ссылка на / etc / default / kubelet но это считается крайней мерой и рекомендуется вместо этого обновить .NodeRegistration.KubeletExtraArgs :

...
# This is a file that the user can use for overrides of the kubelet args as a last resort. Preferably, the user should use
# the .NodeRegistration.KubeletExtraArgs object in the configuration files instead. KUBELET_EXTRA_ARGS should be sourced from this file.
EnvironmentFile=-/etc/default/kubelet
...

Где находится этот .NodeRegistration.KubeletExtraArgs и как изменить его для всех узлов в кластере?

control-plane

Насколько я понимаю, apiserver и controller-manager запускаются как статические модули на каждом мастере и считывают их конфигурацию из / etc / kubernetes / manifest / kube- .yaml . Моя первая мысль заключалась в том, чтобы внести необходимые изменения в эти файлы, однако, согласно документации kubernetes по обновлению кластера kubeadm , kubeadm будет:

* Fetches the kubeadm ClusterConfiguration from the cluster.
* Optionally backups the kube-apiserver certificate.
* Upgrades the static Pod manifests for the control plane components.

Поскольку я изменил манифесты вручную, они не обновляются в ClusterConfiguration ( kubectl -n kube-system get cm kubeadm-config -o yaml ), сохранятся ли мои изменения после обновления таким образом? Полагаю, я мог бы также отредактировать ClusterConfiguration вручную с помощью kubeadm edit cm ... , но это кажется подверженным ошибкам, и его легко забыть менять каждый раз.

Согласно документации, есть способ настроить конфигурацию уровня управления , но это, похоже, только при установке кластера в первый раз. Например, kubeadm config print init-defaults , как следует из названия, дает мне только значения по умолчанию, а не то, что в данный момент выполняется в кластере. Попытка извлечь ClusterConfiguration из kubectl -n kube-system получить cm kubeadm-config -o yaml и запустить kubeadm init --config полностью завершилась неудачно вроде способов, потому что кластер уже инициализирован.

Kubeadm может запускать плоскость управления фазой инициализации , которая обновляет статические манифесты модулей, но оставляет нетронутой конфигурацию ClusterConfiguration, поэтому мне также потребуется выполнить фазу upload-config .

Исходя из вышеизложенного, рабочий процесс выглядит следующим образом:

• Извлеките ClusterConfiguration из kubeadm -n kube-system, получите cm kubeadm-config и сохраните его в файл yaml
• Измените yaml файл со всеми необходимыми изменениями
• Применить изменения с помощью kubeadm init phase control-plane all --config
• Загрузить измененный конфиг kubeadm init phase upload-config all --config
• Разослать измененный файл yaml всем мастерам
• Для каждого мастера применить с kubeadm init phase control-plane all --config

Меня беспокоит очевидное отключение между манифестами статических модулей и ClusterConfiguration. Изменения вносятся не так часто, поэтому довольно легко забыть, что изменение в одном месте также требует изменений в другом - вручную.

Нет ли способа обновить настройки kubelet и уровня управления, которые обеспечивали бы согласованность между компонентами kubernetes и kubeadm? Я все еще новичок в Kubernetes, и вокруг него много документации, так что извините, если я упустил что-то очевидное.