Замена управляющего узла региона

Замена одного управляющего узла региона выполняется при сохранении кворума на двух остальных узлах. Узел с ролью controller в NetBox и в группе [control] файла inventory переустанавливается пайплайном project_k / services / baremetal, а затем возвращается в кластеры Galera, RabbitMQ, etcd, Patroni и OpenSearch пайплайном региона project_k / deployments / <имя региона>.

Выберите последовательность действий по состоянию заменяемого узла:

Предупреждение

Заменяйте узлы строго по одному. Перед заменой следующего узла дождитесь восстановления всех кластеров. При отказе двух управляющих узлов используйте Восстановление региона после отказа двух управляющих узлов, при отказе всех трёх — Восстановление региона после отказа всех управляющих узлов.

Узел возвращается под тем же именем и IP-адресом. При статическом файле inventory (use_netbox_inventory: false) правки файла не требуются. Сертификаты узла хранятся в используемом хранилище секретов и повторно используются задачей setup.

Оценка состояния кластера

Зафиксируйте исходное состояние кластера — оно потребуется для сравнения на этапе проверки результата. Команды проверки контейнеров и Galera выполняйте на каждом работоспособном управляющем узле. Состав остальных кластеров проверяйте на любом из них. При отказе одного контроллера используйте ожидаемые значения из сценария 1: проверка трёх работоспособных узлов относится к плановой замене и к результату ввода узла.

Определение движка контейнеров

Движок контейнеров задаётся параметром kolla_container_engine и может принимать значения docker или podman. Перед выполнением команд определите движок, действующий в вашем регионе.

Значение параметра указано в файлах каталога globals.d/ репозитория региона. Проверить фактическое состояние можно на самом узле:

$ command -v docker podman

/usr/bin/podman

Дальнейшие примеры приведены во вкладках Docker и Podman. Вкладки связаны между собой: выбор движка в первом блоке автоматически применяется ко всем остальным блокам этой статьи.

Состояние контейнеров и кластеров

  1. Убедитесь, что все контейнеры на живых узлах запущены и находятся в состоянии healthy. Команда выводит список контейнеров, состояние которых отличается от Up, но не выявляет запущенные контейнеры со статусом unhealthy:

    $ sudo docker ps -a --format '{{.Names}}|{{.Status}}' | grep -v '|Up'
    

    Дополнительно просмотрите полный список контейнеров командой sudo podman ps и проверьте статус healthy у контейнеров с проверкой работоспособности. Запомните общее число контейнеров на каждом узле. Оно должно совпадать у узлов с одинаковым набором ролей и будет использовано при проверке результата.

  2. Проверьте, что живые узлы синхронизированы с кластером Galera. Команда clustercheck используется контейнером в качестве проверки работоспособности и не требует ввода пароля:

    $ sudo docker exec mariadb /usr/bin/clustercheck
    
    Galera cluster node is synced.
    
  3. Проверьте состав кластера Galera. Для сценария плановой замены узла и после ввода узла ожидается wsrep_cluster_size = 3, wsrep_cluster_status = Primary и wsrep_local_state_comment = Synced на всех узлах. Учётные данные учётной записи мониторинга берутся из переменных окружения контейнера, вводить пароль не требуется:

    $ sudo docker exec mariadb sh -c 'mysql -u"$MYSQL_USERNAME" \
        -p"$MYSQL_PASSWORD" $MYSQL_CONNECTION_PROPERTY -N -B \
        -e "SHOW GLOBAL STATUS WHERE Variable_name IN \
        (\"wsrep_cluster_size\",\"wsrep_cluster_status\",\"wsrep_local_state_comment\")"'
    
  4. Проверьте состояние кластера RabbitMQ. Для сценария плановой замены узла и после ввода узла все три узла должны присутствовать как в списке disk_nodes, так и в списке running_nodes, а список partitions должен быть пуст:

    $ sudo docker exec rabbitmq rabbitmqctl cluster_status
    
  5. Проверьте состояние кластера etcd. Для сценария плановой замены узла и после ввода узла ожидается три участника в состоянии started и три работоспособных конечных точки:

    $ sudo docker exec etcd sh -c 'unset ETCDCTL_WRITE_OUT; etcdctl member list'
    $ sudo docker exec etcd sh -c 'unset ETCDCTL_WRITE_OUT; etcdctl endpoint health --cluster'
    

    Примечание

    Переменная ETCDCTL_WRITE_OUT задана внутри контейнера, поэтому повторное указание флага -w приводит к ошибке conflicting environment variable. Удалите переменную из окружения команды с помощью unset, как показано выше.

  6. Проверьте состояние кластера Patroni. Для сценария плановой замены узла и после ввода узла ожидается один узел в роли Leader и две реплики в состоянии streaming без отставания репликации. Запомните текущего лидера: если заменяется он, при выводе узла произойдёт переключение на другой узел:

    $ sudo docker exec patroni patronictl -c /etc/patroni/patroni.yml list
    

    Переключение лидера выполняется автоматически: при выводе узла-лидера один из оставшихся узлов принимает роль Leader, а номер линии времени (TL) увеличивается на единицу.

    Примечание

    Пока заменяемый узел недоступен, patronictl выводит перед таблицей сообщение Failed to get list of machines from https://<адрес-узла>:2379 с ошибкой ConnectTimeoutError. Это ожидаемое сообщение о недоступном участнике etcd: состояние кластера в таблице отображается корректно.

  7. Проверьте состояние кластера OpenSearch. Контейнер сам опрашивает конечную точку _cluster/health, поэтому достаточно проверить результат его проверки работоспособности — ожидается healthy:

    $ sudo docker inspect opensearch --format '{{.State.Health.Status}}'
    
    healthy
    

    Состояние unhealthy означает, что конечная точка недоступна — как правило, из-за потери кворума узлов, участвующих в выборе управляющего узла OpenSearch. Причину можно уточнить той же командой, которую выполняет проверка работоспособности:

    $ sudo docker exec opensearch healthcheck_curl https://127.0.0.1:9200/_cluster/health
    
  8. Зафиксируйте состояние сервисов OpenStack:

    $ ./koc compute service list
    $ ./koc volume service list
    $ ./koc network agent list
    

Сценарий 1: Отказ одного контроллера без возможности восстановления

Первый контроллер недоступен. Останавливать на нём контейнеры и выполнять проверки невозможно: команды оценки состояния и очистки RabbitMQ выполняйте на работоспособном управляющем узле. Проверки перед заменой должны подтвердить, что два оставшихся узла сохраняют кворум и могут передать данные новому узлу.

  1. Определите имя и IP-адрес отказавшего первого контроллера в файле inventory репозитория региона. Далее подставляйте его имя вместо <имя-узла>.

  2. Проверьте два работоспособных управляющих узла командами из раздела Оценка состояния кластера. На этом этапе ожидается:

    • Galera — Primary, Synced, размер кластера 2;

    • RabbitMQ — два узла в running_nodes, отказавший узел может оставаться в disk_nodes, список partitions пуст;

    • etcd — две работоспособные конечные точки; запись отказавшего участника может оставаться в списке участников, а проверка его конечной точки завершается ошибкой;

    • Patroni — один работоспособный Leader и одна реплика streaming без отставания репликации;

    • OpenSearch — доступная конечная точка _cluster/health на оставшихся узлах.

    Недоступность сервисов отказавшего узла ожидаема. Если кворум на оставшихся узлах потерян, сначала восстановите работоспособность кластеров: продолжать ввод нового узла по этой последовательности нельзя.

  3. Замените неисправное оборудование или системный диск. Сохраните имя и IP-адрес узла, проверьте описание устройства и доступ к BMC в NetBox.

  4. Установите ОС на узел-замену через пайплайн baremetal:

    1. Откройте веб-интерфейс NetBox, перейдите в раздел Devices и найдите заменяемый узел.

    2. Установите в пользовательском поле state значение ready. Поле status должно остаться в значении active.

      Важно

      Пайплайн отбирает узлы по условию status = active и state из набора ready, redeploy, shred, setup, free. Убедитесь, что состояния из этого набора не назначены другим узлам: остальные узлы региона должны оставаться в состоянии production, иначе пайплайн переустановит и их.

    3. Откройте веб-интерфейс GitLab.

    4. Перейдите в репозиторий project_k / services / baremetal.

    5. Создайте новый пайплайн: Build > Pipelines > New Pipeline.

    6. Выберите ветку, соответствующую установленному релизу.

    7. Добавьте переменную TARGET_CLOUD со значением тега окружения в NetBox в нижнем регистре.

    8. Добавьте переменную TARGET_ROLE со значением controller.

    9. Добавьте переменную TARGET_NODE со значением имени заменяемого узла.

    10. Добавьте переменную IRONIC_ENV со значением BIFROST.

    11. Добавьте переменную IRONIC_IMAGE_URL со значением URL образа ОС, соответствующего установленному релизу.

      Примечание

      Переменная TARGET_NODE служит дополнительной защитой: пайплайн сверяет её значение со списком отобранных узлов и работает только с указанным узлом.

      Переменную UNDEPLOY со значением true задавайте только в том случае, если узел уже зарегистрирован в Ironic и находится в состоянии active, deploy failed, deploying или wait call-back. Если узел в Ironic отсутствует, он будет зарегистрирован заново и переменная не нужна.

    12. Запустите пайплайн кнопкой New pipeline и дождитесь выполнения дочернего пайплайна. Узел последовательно проходит стадии ready, inspect, validate, shred, setup и done.

      Примечание

      На стадии inspect узел перезагружается в образ IPA (Ironic Python Agent), то есть с этого момента управляющий узел недоступен. Стадия shred выполняет очистку дисков только при заданном параметре clean_steps в config_context устройства; в противном случае стадия завершается без действий, а диск перезаписывается образом на стадии setup.

      Стадия done запускается с задержкой около пяти минут и возвращает полю state в NetBox значение production.

    13. Убедитесь, что узел загрузился с новой ОС и доступен по SSH под пользователем kolla, а имя узла, IP-адрес, маршрут по умолчанию и синхронизация времени соответствуют исходным:

      $ hostname
      $ ip -4 -o addr show
      $ ip route
      $ timedatectl
      

    Совет

    Если стадия inspect завершается ошибкой Failed to get power state с текстом Invalid timeout, перезапустите задание. Ошибка связана с повторным запросом к BMC узла; повторный запуск задания использует новую сессию и проходит успешно. Ошибка воспроизводится регулярно, поэтому один перезапуск стадии inspect следует считать штатной частью процедуры.

  5. Удалите старую запись заменяемого узла из RabbitMQ на любом работоспособном управляющем узле:

    1. На любом работоспособном управляющем узле проверьте состав кластера. Заменяемый узел присутствует в списке disk_nodes, но отсутствует в списке running_nodes:

      $ sudo podman exec rabbitmq rabbitmqctl cluster_status
      
    2. Удалите запись об узле из кластера:

      $ sudo podman exec rabbitmq rabbitmqctl forget_cluster_node rabbit@<имя-узла>
      
      Removing node rabbit@<имя-узла> from the cluster
      
    3. Убедитесь, что узел исключён из списка disk_nodes, а остальные узлы остались в списке running_nodes.

    Примечание

    Команда forget_cluster_node может не завершиться и не вернуть управление, даже если узел уже исключён из кластера. Не расценивайте это как ошибку: результат определяйте по выводу cluster_status. Если команда не возвращает управление, прервите её сочетанием клавиш Ctrl+C. Контейнер RabbitMQ на работоспособных узлах при этом остаётся в состоянии healthy, очереди сохраняются.

  6. Подготовьте новый узел и разверните сервисы пайплайнами региона. Сначала ограничьте подготовку новым узлом, затем выполняйте развёртывание для всей группы control:

    1. Откройте GitLab и перейдите в репозиторий региона project_k / deployments / <имя региона>.

    2. Создайте новый пайплайн: Build > Pipelines > New Pipeline с переменной KOLLA_ARGS = --limit <имя-узла>.

    3. Запустите пайплайн кнопкой New pipeline и дождитесь успешного выполнения задачи setup.

    4. Запустите задачу bootstrap-servers вручную и дождитесь её выполнения.

    5. Запустите задачу host-config вручную и дождитесь её выполнения.

    6. Убедитесь, что на узле установлен Podman и создан каталог /opt/kolla:

      $ ls -d /opt/kolla
      $ id kolla
      
    7. Перед созданием пайплайна развёртывания остановите службу kolla-keystone_fernet-container через Портал администратора на каждом работающем управляющем узле:

      1. Откройте Портал администратора и перейдите в раздел Настройки региона > Службы.

      2. Из выпадающего списка Имя хоста выберите работающий контроллер.

      3. Из выпадающего списка Docker, Systemd, Podman выберите Systemd.

      4. Из выпадающего списка Команда выберите stop.

      5. Из выпадающего списка Идентификатор/Наименование выберите kolla-keystone_fernet-container.

      6. Нажмите Выполнить и дождитесь завершения команды.

      7. Выберите команду status для той же службы и нажмите Выполнить. Убедитесь, что служба остановлена.

      8. Повторите действия для остальных работающих контроллеров.

      Если оставить службу запущенной на работающих контроллерах, задача deploy завершится ошибкой на шаге create admin project, а Keystone останется в неработоспособном состоянии. Запускайте пайплайн развёртывания только после остановки службы на всех работающих контроллерах.

    8. Откройте веб-интерфейс GitLab.

    9. Перейдите в репозиторий региона project_k / deployments / <имя региона>.

    10. Создайте новый пайплайн: Build > Pipelines > New Pipeline.

    11. Добавьте переменную KOLLA_ARGS со значением --limit control -e mariadb_ssl_status=YES.

      Важно

      Дополнительный параметр -e mariadb_ssl_status=YES обязателен при включённом mariadb_enable_tls_backend. Роль mariadb определяет значение mariadb_ssl_status только для узлов с уже запущенным MariaDB, но проверяет его для всех узлов, поэтому на вводимом узле развёртывание завершается ошибкой:

      The conditional check 'mariadb_ssl_status == 'DISABLED'' failed.
      The error was: 'mariadb_ssl_status' is undefined
      

      Значение YES соответствует фактическому значению have_ssl на работоспособных узлах, поэтому переход с нешифрованного кластера на TLS остаётся корректно пропущенным.

      Из-за этой ошибки на вводимом узле прекращается выполнение задач Ansible. Обработчики запуска контейнеров не выполняются, а сообщение об ошибке появляется позже и указывает на другой сервис — например, на распространение ключей Keystone (ssh: connect to host <ip> port 8023: Connection refused). При такой ошибке сначала проверьте журнал задания на наличие приведённого выше сообщения.

    12. Запустите пайплайн кнопкой New pipeline и дождитесь успешного выполнения задачи setup.

    13. Запустите задачу deploy вручную и дождитесь её выполнения.

    Опасно

    Для задачи deploy указывайте --limit control, то есть всю группу управляющих узлов, а не --limit <имя-узла>.

    Роли mariadb и etcd определяют наличие кластера по составу узлов, на которых выполняется текущая группа задач Ansible. При ограничении одним узлом обе роли считают, что кластера нет:

    • роль etcd создаёт новый кластер вместо добавления узла в существующий, что приводит к образованию независимых кластеров с рассогласованными данными;

    • роль mariadb не добавляет узел корректно, а при замене первого узла группы mariadb инициализирует новый пустой кластер Galera вместо работающего.

    Развёртывание на всю группу также необходимо для автоматического удаления устаревшего участника etcd и повторного добавления узла.

    Примечание

    Ошибки с mariadb_ssl_status можно избежать, запустив пайплайн с параметром KOLLA_ANSIBLE_DEPLOY_ACTION = mariadb-recovery, однако для замены одного узла этот способ не рекомендуется: пайплайн с действием mariadb-recovery останавливает MariaDB на всех управляющих узлах и повторно инициализирует кластер, то есть приводит к недоступности базы данных. Кроме того, выполняется только сценарий Ansible для MariaDB, поэтому после него требуется полное развёртывание сервисов.

  7. Проверьте результат по разделу Проверка результата. Завершайте замену только после восстановления трёх участников кластеров и работоспособности сервисов на всех узлах региона.

Сценарий 2: Плановая замена узла

Заменяемый узел работоспособен. До отключения зафиксируйте состояние всех трёх узлов. Затем штатно остановите контейнеры на заменяемом узле и выполните переустановку.

  1. Определите имя и IP-адрес заменяемого узла в файле inventory репозитория региона. Далее подставляйте его имя вместо <имя-узла>. Согласуйте окно обслуживания: перенос маршрутизаторов без режима HA временно прерывает трафик.

  2. Проверьте все три управляющих узла командами из раздела Оценка состояния кластера и зафиксируйте исходное состояние. До вывода узла все три узла должны быть работоспособны. Создайте тестовую виртуальную машину и проверьте её доступность до начала работ.

  3. Подключитесь к заменяемому узлу по SSH и штатно остановите на нём контейнеры OpenStack. Убедитесь, что оставшиеся два управляющих узла сохраняют кворум: Galera остаётся в состоянии Primary, RabbitMQ содержит два running_nodes, две конечные точки etcd работоспособны, Patroni имеет лидера, а OpenSearch доступен. Если заменяемый узел был лидером Patroni, дождитесь переключения роли Leader на другой узел.

  4. Переустановите ОС пайплайном baremetal. Если требуется замена оборудования или дисков, выполните её до запуска пайплайна, сохранив имя и IP-адрес узла и актуализировав описание устройства и доступ к BMC в NetBox:

    1. Откройте веб-интерфейс NetBox, перейдите в раздел Devices и найдите заменяемый узел.

    2. Установите в пользовательском поле state значение ready. Поле status должно остаться в значении active.

      Важно

      Пайплайн отбирает узлы по условию status = active и state из набора ready, redeploy, shred, setup, free. Убедитесь, что состояния из этого набора не назначены другим узлам: остальные узлы региона должны оставаться в состоянии production, иначе пайплайн переустановит и их.

    3. Откройте веб-интерфейс GitLab.

    4. Перейдите в репозиторий project_k / services / baremetal.

    5. Создайте новый пайплайн: Build > Pipelines > New Pipeline.

    6. Выберите ветку, соответствующую установленному релизу.

    7. Добавьте переменную TARGET_CLOUD со значением тега окружения в NetBox в нижнем регистре.

    8. Добавьте переменную TARGET_ROLE со значением controller.

    9. Добавьте переменную TARGET_NODE со значением имени заменяемого узла.

    10. Добавьте переменную IRONIC_ENV со значением BIFROST.

    11. Добавьте переменную IRONIC_IMAGE_URL со значением URL образа ОС, соответствующего установленному релизу.

      Примечание

      Переменная TARGET_NODE служит дополнительной защитой: пайплайн сверяет её значение со списком отобранных узлов и работает только с указанным узлом.

      Переменную UNDEPLOY со значением true задавайте только в том случае, если узел уже зарегистрирован в Ironic и находится в состоянии active, deploy failed, deploying или wait call-back. Если узел в Ironic отсутствует, он будет зарегистрирован заново и переменная не нужна.

    12. Запустите пайплайн кнопкой New pipeline и дождитесь выполнения дочернего пайплайна. Узел последовательно проходит стадии ready, inspect, validate, shred, setup и done.

      Примечание

      На стадии inspect узел перезагружается в образ IPA (Ironic Python Agent), то есть с этого момента управляющий узел недоступен. Стадия shred выполняет очистку дисков только при заданном параметре clean_steps в config_context устройства; в противном случае стадия завершается без действий, а диск перезаписывается образом на стадии setup.

      Стадия done запускается с задержкой около пяти минут и возвращает полю state в NetBox значение production.

    13. Убедитесь, что узел загрузился с новой ОС и доступен по SSH под пользователем kolla, а имя узла, IP-адрес, маршрут по умолчанию и синхронизация времени соответствуют исходным:

      $ hostname
      $ ip -4 -o addr show
      $ ip route
      $ timedatectl
      

    Совет

    Если стадия inspect завершается ошибкой Failed to get power state с текстом Invalid timeout, перезапустите задание. Ошибка связана с повторным запросом к BMC узла; повторный запуск задания использует новую сессию и проходит успешно. Ошибка воспроизводится регулярно, поэтому один перезапуск стадии inspect следует считать штатной частью процедуры.

  5. Удалите старую запись заменяемого узла из RabbitMQ на любом работоспособном управляющем узле:

    1. На любом работоспособном управляющем узле проверьте состав кластера. Заменяемый узел присутствует в списке disk_nodes, но отсутствует в списке running_nodes:

    $ sudo docker exec rabbitmq rabbitmqctl cluster_status
    
    1. Удалите запись об узле из кластера:

    $ sudo docker exec rabbitmq rabbitmqctl forget_cluster_node rabbit@<имя-узла>
    
    Removing node rabbit@<имя-узла> from the cluster
    
    1. Убедитесь, что узел исключён из списка disk_nodes, а остальные узлы остались в списке running_nodes.

    Примечание

    Команда forget_cluster_node может не завершиться и не вернуть управление, даже если узел уже исключён из кластера. Не расценивайте это как ошибку: результат определяйте по выводу cluster_status. Если команда не возвращает управление, прервите её сочетанием клавиш Ctrl+C. Контейнер RabbitMQ на работоспособных узлах при этом остаётся в состоянии healthy, очереди сохраняются.

    Предупреждение

    Если пропустить этот шаг, задача deploy завершится ошибкой на задаче rabbitmq : Enable all stable feature flags:

    rabbitmqctl enable_feature_flag all
    Error: missing_clustered_nodes
    

    Команда включения флагов выполняется до того, как контейнер RabbitMQ на новом узле будет запущен и войдёт в кластер, поэтому повторный запуск пайплайна без удаления записи об узле приводит к той же ошибке.

    Примечание

    Для кластеров Galera и etcd аналогичное действие не требуется. Galera синхронизирует новый узел механизмом SST (State Snapshot Transfer) автоматически, а роль etcd самостоятельно удаляет устаревшего участника и добавляет узел заново — при условии, что развёртывание выполняется для всей группы управляющих узлов (см. шаг развёртывания сервисов выбранного сценария).

  6. Подготовьте новый узел и разверните сервисы пайплайнами региона. Сначала ограничьте подготовку новым узлом, затем выполняйте развёртывание для всей группы control:

    1. Откройте GitLab и перейдите в репозиторий региона project_k / deployments / <имя региона>.

    2. Создайте новый пайплайн: Build > Pipelines > New Pipeline с переменной KOLLA_ARGS = --limit <имя-узла>.

    3. Запустите пайплайн кнопкой New pipeline и дождитесь успешного выполнения задачи setup.

    4. Запустите задачу bootstrap-servers вручную и дождитесь её выполнения.

    5. Убедитесь, что на узле установлен Podman и создан каталог /opt/kolla:

      $ ls -d /opt/kolla
      $ id kolla
      
    6. Перед созданием пайплайна развёртывания остановите службу kolla-keystone_fernet-container через Портал администратора на каждом работающем управляющем узле:

      1. Откройте Портал администратора и перейдите в раздел Настройки региона > Службы.

      2. Из выпадающего списка Имя хоста выберите работающий контроллер.

      3. Из выпадающего списка Docker, Systemd, Podman выберите Systemd.

      4. Из выпадающего списка Команда выберите stop.

      5. Из выпадающего списка Идентификатор/Наименование выберите kolla-keystone_fernet-container.

      6. Нажмите Выполнить и дождитесь завершения команды.

      7. Выберите команду status для той же службы и нажмите Выполнить. Убедитесь, что служба остановлена.

      8. Повторите действия для остальных работающих контроллеров.

      Если оставить службу запущенной на работающих контроллерах, задача deploy завершится ошибкой на шаге create admin project, а Keystone останется в неработоспособном состоянии. Запускайте пайплайн развёртывания только после остановки службы на всех работающих контроллерах.

    7. Откройте веб-интерфейс GitLab.

    8. Перейдите в репозиторий региона project_k / deployments / <имя региона>.

    9. Создайте новый пайплайн: Build > Pipelines > New Pipeline.

    10. Добавьте переменную KOLLA_ARGS со значением --limit control -e mariadb_ssl_status=YES.

      Важно

      Дополнительный параметр -e mariadb_ssl_status=YES обязателен при включённом mariadb_enable_tls_backend. Роль mariadb определяет значение mariadb_ssl_status только для узлов с уже запущенным MariaDB, но проверяет его для всех узлов, поэтому на вводимом узле развёртывание завершается ошибкой:

      The conditional check 'mariadb_ssl_status == 'DISABLED'' failed.
      The error was: 'mariadb_ssl_status' is undefined
      

      Значение YES соответствует фактическому значению have_ssl на работоспособных узлах, поэтому переход с нешифрованного кластера на TLS остаётся корректно пропущенным.

      Из-за этой ошибки на вводимом узле прекращается выполнение задач Ansible. Обработчики запуска контейнеров не выполняются, а сообщение об ошибке появляется позже и указывает на другой сервис — например, на распространение ключей Keystone (ssh: connect to host <ip> port 8023: Connection refused). При такой ошибке сначала проверьте журнал задания на наличие приведённого выше сообщения.

    11. Запустите пайплайн кнопкой New pipeline и дождитесь успешного выполнения задачи setup.

    12. Запустите задачу deploy вручную и дождитесь её выполнения.

    Опасно

    Для задачи deploy указывайте --limit control, то есть всю группу управляющих узлов, а не --limit <имя-узла>.

    Роли mariadb и etcd определяют наличие кластера по составу узлов, на которых выполняется текущая группа задач Ansible. При ограничении одним узлом обе роли считают, что кластера нет:

    • роль etcd создаёт новый кластер вместо добавления узла в существующий, что приводит к образованию независимых кластеров с рассогласованными данными;

    • роль mariadb не добавляет узел корректно, а при замене первого узла группы mariadb инициализирует новый пустой кластер Galera вместо работающего.

    Развёртывание на всю группу также необходимо для автоматического удаления устаревшего участника etcd и повторного добавления узла.

    Примечание

    Ошибки с mariadb_ssl_status можно избежать, запустив пайплайн с параметром KOLLA_ANSIBLE_DEPLOY_ACTION = mariadb-recovery, однако для замены одного узла этот способ не рекомендуется: пайплайн с действием mariadb-recovery останавливает MariaDB на всех управляющих узлах и повторно инициализирует кластер, то есть приводит к недоступности базы данных. Кроме того, выполняется только сценарий Ansible для MariaDB, поэтому после него требуется полное развёртывание сервисов.

  7. Проверьте результат по разделу Проверка результата. Завершайте замену только после восстановления трёх участников кластеров и работоспособности сервисов на всех узлах региона.

Проверка результата

  1. Сравните состояние кластера с зафиксированным на этапе Оценка состояния кластера, используя те же команды.

  2. Перейдите в веб-интерфейс Портала администратора.

  3. Авторизуйтесь, используя учётную запись с ролью admin. При успешной установке отобразится общий дашборд платформы.

    Состояние системы на Портале администратора

    Состояние системы на Портале администратора

  4. Убедитесь, что все сервисы и узлы в состоянии up / OK.

  5. Если состояние сервисов не соответствует up / OK, выполните следующие действия:

    1. Перейдите в раздел Настройки региона > Службы.

    2. Из выпадающего списка Имя хоста выберите необходимый узел.

    3. Из выпадающего списка Docker, Systemd, Podman выберите Systemd.

    4. Из выпадающего списка Команда выберите команду restart.

    5. Из выпадающего списка Идентификатор/Наименование выберите наименование службы, которое начинается с kolla-.

    6. Нажмите кнопку Выполнить для запуска команды.

  6. Проверьте базовую функциональность региона: создайте виртуальную машину, выполните её миграцию и создайте том Cinder. Проверка тома обязательна: сервис cinder-volume отвечает за работу с дисками и его недоступность не выявляется проверкой виртуальных машин.