Восстановление региона после отказа двух управляющих узлов

При одновременном отказе двух управляющих узлов из трёх регион теряет кворум во всех кластерах управляющего слоя, а API OpenStack становится недоступен. Восстановление принципиально отличается от замены одного узла (см. Замена управляющего узла региона): пайплайны сами по себе не восстанавливают кворум, поэтому кластеры на уцелевшем узле приводятся в рабочее состояние вручную, и только после этого узлы вводятся обратно.

Предупреждение

В течение всей процедуры регион недоступен. Восстановление занимает несколько часов и включает операции, которые выполняются вручную на уцелевшем узле.

Важно

Процедура применима, если данные на уцелевшем узле пригодны для использования. Если повреждён и уцелевший узел, выполняйте восстановление из резервной копии (см. Резервное копирование и восстановление), а не эту процедуру.

Что происходит при потере двух узлов

Поведение компонентов различается, и не все из них требуют вмешательства:

Компонент

Состояние на уцелевшем узле

Требуется

Galera

при штатном выводе узлов остаётся Primary, размер кластера 1

восстановление кластера, ограниченное уцелевшим узлом

RabbitMQ

приложение rabbit остановлено (pause_minority)

удаление отказавших узлов из кластера

etcd

кворум потерян, обращения к API завершаются по таймауту

принудительное создание кластера из одного участника

Patroni

недоступен, так как использует etcd

ничего, восстанавливается после etcd

OpenSearch

недоступен, кворум узлов выбора потерян

принудительный выбор управляющего узла

API OpenStack

ошибки 500

восстанавливается после RabbitMQ и ввода узлов

Примечание

Отказ rabbit — основная причина недоступности API: параметр cluster_partition_handling = pause_minority останавливает приложение на узле, оказавшемся в меньшинстве. База данных при этом продолжает работать.

Подготовка

  1. Определите уцелевший узел и убедитесь, что он доступен по SSH.

  2. Подключитесь к уцелевшему узлу по SSH под ТУЗ.

  3. Определите движок контейнеров региона (параметр kolla_container_engine) — см. Оценка состояния кластера. Далее команды приведены во вкладках Docker и Podman.

  4. Создайте снимок etcd на уцелевшем узле. Снимок не создаётся заданием backup-db, поэтому его требуется получить вручную. Сохраните файл вне каталога данных etcd:

    $ sudo docker exec etcd sh -c 'unset ETCDCTL_WRITE_OUT; \
        etcdctl snapshot save /tmp/etcd-before-recovery.db'
    $ sudo docker cp etcd:/tmp/etcd-before-recovery.db /home/kolla/
    

    Предупреждение

    Не оставляйте файл снимка в каталоге данных etcd (/var/lib/etcd): при запуске etcd записывает в журнал предупреждение found invalid file under data directory.

  5. Получите пароли, которые потребуются далее, из Vault по пути <vault_prefix>/<имя региона>/passwords_yml: etcd_cluster_token — для ввода узлов в кластер etcd.

Примечание

Задание backup-db прерывается, если кворум Galera уже потерян, поэтому создать резервную копию базы данных во время аварии не получится. Используйте копию, созданную по расписанию до отказа.

Восстановление кворума на уцелевшем узле

Все команды этого раздела выполняются на уцелевшем узле. Порядок обязателен: Patroni восстанавливается только после etcd, а ввод узлов возможен только после восстановления кворума во всех кластерах.

Управление контейнерами

Важно

Контейнеры управляются systemd (quadlet), поэтому команда podman stop или docker stop не останавливает контейнер: служба запускает его заново. Используйте systemctl:

$ sudo systemctl stop kolla-<имя-контейнера>-container.service
$ sudo systemctl start kolla-<имя-контейнера>-container.service

Кроме того, том и контейнер могут иметь одинаковое имя (например, etcd), поэтому для получения параметров контейнера используйте podman container inspect, а не podman inspect.

Кластер RabbitMQ

Приложение rabbit остановлено, поэтому команда forget_cluster_node недоступна: режим --offline требует остановки всего узла Erlang, что невозможно внутри контейнера. Временно измените режим обработки разделения кластера.

  1. Сохраните конфигурацию и замените режим:

    $ sudo cp -a /opt/kolla/rabbitmq/rabbitmq.conf /opt/kolla/rabbitmq/rabbitmq.conf.orig
    $ sudo sed -i 's/^cluster_partition_handling = pause_minority/cluster_partition_handling = ignore/' \
        /opt/kolla/rabbitmq/rabbitmq.conf
    
  2. Перезапустите RabbitMQ и дождитесь запуска приложения:

    $ sudo systemctl restart kolla-rabbitmq-container.service
    
  3. Удалите отказавшие узлы из кластера:

    $ sudo docker exec rabbitmq rabbitmqctl forget_cluster_node rabbit@<узел-1>
    $ sudo docker exec rabbitmq rabbitmqctl forget_cluster_node rabbit@<узел-2>
    

    Примечание

    Команда может не вернуть управление, хотя узел уже исключён. Результат проверяйте командой rabbitmqctl cluster_status, зависшую команду прерывайте по Ctrl+C.

  4. Верните исходную конфигурацию и перезапустите RabbitMQ. Кластер состоит из одного узла, поэтому он остаётся в большинстве и приложение продолжает работать:

    $ sudo cp -a /opt/kolla/rabbitmq/rabbitmq.conf.orig /opt/kolla/rabbitmq/rabbitmq.conf
    $ sudo systemctl restart kolla-rabbitmq-container.service
    

Кластер etcd

Кворум потерян, поэтому удалить отказавших участников штатно невозможно. Создайте кластер из одного участника, сохранив данные.

  1. Подготовьте файл переменных окружения на основе действующего контейнера и добавьте принудительное создание кластера:

    $ sudo podman container inspect etcd \
        --format '{{range .Config.Env}}{{println .}}{{end}}' \
        | grep -E '^(ETCD_|ETCDCTL_|KOLLA_)' > /home/kolla/etcd-force.env
    $ echo "ETCD_FORCE_NEW_CLUSTER=true" >> /home/kolla/etcd-force.env
    
  2. Остановите штатный контейнер и запустите временный с тем же образом, теми же томами и подготовленным файлом переменных:

    $ sudo systemctl stop kolla-etcd-container.service
    $ sudo podman run -d --name etcd_force --network host \
        --env-file /home/kolla/etcd-force.env \
        -v kolla_etcd:/var/lib/etcd -v etcd_etc_etcd:/etc/etcd \
        -v etcd_etc_pki:/etc/pki -v etcd_etc_ssl:/etc/ssl \
        -v etcd_var_log:/var/log -v etcd_etc_kolla_defaults:/etc/kolla/defaults \
        -v etcd_var_lib_kolla_share:/var/lib/kolla/share \
        -v /opt/kolla/etcd:/var/lib/kolla/config_files/:ro \
        <docker_fqdn>/project_k/etcd:ks2026.2.1-sberlinux kolla_start
    

    где docker_fqdn — полное доменное имя сервиса docker.<lcm_name>.vm.lab.itkey.com.

  3. Убедитесь по журналу временного контейнера, что участники удалены и узел стал лидером — строки removed member и became leader:

    $ sudo podman logs etcd_force 2>&1| grep -E "removed member|became leader"
    
  4. Остановите временный контейнер и запустите штатный:

    $ sudo podman stop etcd_force && sudo podman rm -f etcd_force
    $ sudo systemctl start kolla-etcd-container.service
    
  5. Убедитесь, что кластер состоит из одного участника и работоспособен:

    $ sudo podman exec etcd sh -c 'unset ETCDCTL_WRITE_OUT; etcdctl member list'
    $ sudo podman exec etcd sh -c 'unset ETCDCTL_WRITE_OUT; etcdctl endpoint health'
    
  6. Убедитесь, что кластер Patroni восстановился — узел перешёл в роль Leader:

    $ sudo podman exec patroni patronictl -c /etc/patroni/patroni.yml list
    

Кластер Galera

Galera переживает потерю двух узлов, если они выводились штатно: уцелевший узел пересчитывает состав кластера при каждом выходе участника и сохраняет состояние Primary. В этом случае никаких действий не требуется.

  1. Проверьте состояние кластера на уцелевшем узле:

    $ sudo docker exec mariadb /usr/bin/clustercheck
    
    Galera cluster node is synced.
    
  2. Проверьте wsrep_cluster_status = Primary на уцелевшем узле:

    $ sudo podman exec mariadb sh -c 'mysql -uroot \
        -p<MYSQL_PASSWORD> -h localhost -N -B \
        -e "SHOW GLOBAL STATUS WHERE Variable_name IN \
        (\"wsrep_cluster_size\",\"wsrep_cluster_status\",\"wsrep_local_state_comment\")"'
    

    где <MYSQL_PASSWORD> — значение ключа database_password из passwords_yml вашего региона в Vault.

  3. Если состояние — Primary, перейдите к следующему разделу: база данных работает, восстановление не требуется.

  4. Если состояние — non-Primary (возможно при аварийном отключении узлов, а не при штатном выводе), переведите уцелевший узел в режим самостоятельного кластера:

    $ sudo podman exec mariadb sh -c 'mysql -uroot -p<MYSQL_PASSWORD> \
        -h localhost -e "SET GLOBAL wsrep_provider_options='\''pc.bootstrap=YES'\'';"'
    

    где <MYSQL_PASSWORD> — значение ключа database_password из passwords_yml вашего региона в Vault.

Опасно

Задание mariadb-recovery неприменимо, пока отказавшие узлы не возвращены в строй:

  • с ограничением KOLLA_ARGS = --limit <узел> задание завершается ошибкой 'ansible.vars.hostvars.HostVarsVars object' has no attribute 'hostname': playbook mariadb_recovery.yml не собирает факты об узлах вне ограничения, а шаблоны роли обращаются к именам всех узлов группы mariadb;

  • без ограничения задание затрагивает переустановленные узлы, на которых ещё нет образов и конфигурации MariaDB.

Запускайте mariadb-recovery только после возвращения узлов в кластер — например, если после ввода узлов кластер Galera не собрался.

Переустановка и ввод узлов

  1. Переустановите оба узла — процедура не отличается от замены одного узла, оба узла можно указать в одном запуске пайплайна.

  2. Выполните подготовку узлов заданиями bootstrap-servers и host-config с ограничением на оба переустановленных узла:

    1. Откройте веб-интерфейс развёрнутого GitLab.

    2. Перейдите в репозиторий project_k / deployments / <имя региона>.

    3. Создайте новый пайплайн: Build > Pipelines > New Pipeline.

    4. В открывшемся окне укажите значение переменной KOLLA_ARGS равное --limit <узел-1>,<узел-2>.

    5. Запустите пайплайн New pipeline.

    6. Дождитесь завершения задачи setup.

    7. Запустите задачу bootstrap-servers.

    8. Дождитесь завершения выполнения задачи.

    9. Запустите задачу host-config.

    10. Дождитесь завершения выполнения задачи.

  3. Создайте конфигурацию сервисов на переустановленных узлах: запустите пайплайн региона с переменными KOLLA_ANSIBLE_DEPLOY_ACTION = genconfig и KOLLA_ARGS = -t etcd,haproxy --limit <узел-1>,<узел-2>.

  4. Введите узлы в кластер etcd по одному.

    Опасно

    Узлы добавляются строго последовательно: пока добавленный участник не запущен, кластер из двух участников не имеет кворума, и добавление второго завершается ошибкой etcdserver: re-configuration failed due to not enough started members.

    Примечание

    Ввод узлов в кластер etcd до развёртывания обязателен ещё и потому, что при непустом каталоге данных роль etcd считает узел действующим участником и не пытается создать кластер заново. Если запустить развёртывание раньше, узел поднимет собственный кластер из одного участника.

    1. На уцелевшем узле добавьте участника. Команда выводит переменные окружения, которые потребуются на следующем шаге:

      $ sudo podman exec etcd sh -c 'unset ETCDCTL_WRITE_OUT; \
          etcdctl member add <имя-узла> --peer-urls=https://<IP-адрес узла>:2380'
      

      Примечание

      После добавления участника уцелевший узел временно теряет кворум: в кластере из двух участников запущен только один. Обращения etcdctl завершаются по таймауту до запуска нового участника — это ожидаемое состояние, повторно создавать кластер не требуется.

    2. На вводимом узле подготовьте файл переменных окружения /home/kolla/etcd-force.env. Кроме значений из вывода member add укажите адреса узла, ETCD_DATA_DIR, ETCDCTL_API, ETCDCTL_ENDPOINTS, ETCD_INITIAL_CLUSTER_TOKEN из Vault и параметр KOLLA_CONFIG_STRATEGY:

      KOLLA_CONFIG_STRATEGY=COPY_ALWAYS
      ETCD_NAME=<имя-узла>
      ETCD_INITIAL_CLUSTER=<из вывода member add>
      ETCD_INITIAL_ADVERTISE_PEER_URLS=https://<IP-адрес узла>:2380
      ETCD_INITIAL_CLUSTER_STATE=existing
      ETCD_INITIAL_CLUSTER_TOKEN=<etcd_cluster_token из Vault>
      ETCD_DATA_DIR=/var/lib/etcd
      ETCD_LISTEN_CLIENT_URLS=https://<IP-адрес узла>:2379
      ETCD_ADVERTISE_CLIENT_URLS=https://<IP-адрес узла>:2379
      ETCD_LISTEN_PEER_URLS=https://<IP-адрес узла>:2380
      ETCD_CERT_FILE=/etc/etcd/certs/etcd-cert.pem
      ETCD_KEY_FILE=/etc/etcd/certs/etcd-key.pem
      ETCD_TRUSTED_CA_FILE=/etc/pki/tls/certs/ca-bundle.crt
      ETCD_PEER_CERT_FILE=/etc/etcd/certs/etcd-cert.pem
      ETCD_PEER_KEY_FILE=/etc/etcd/certs/etcd-key.pem
      ETCD_PEER_TRUSTED_CA_FILE=/etc/pki/tls/certs/ca-bundle.crt
      

      где

      • <имя-узла> — название уцелевшего узла.

      • <etcd_cluster_token из Vault> — токен для ввода узлов в кластер etcd из Vault по пути <vault_prefix>/<имя региона>/passwords_yml.

      • <из вывода member add> — значение параметра ETCD_INITIAL_CLUSTER, полученное на первом шаге.

      • <IP-адрес узла> — IP-адрес уцелевшего узла.

    3. Запустите временный контейнер etcd на вводимом узле:

      $ sudo systemctl stop kolla-etcd-container.service
      $ sudo podman run -d --name etcd_force --network host \
          --env-file /home/kolla/etcd-force.env \
          -v kolla_etcd:/var/lib/etcd -v etcd_etc_etcd:/etc/etcd \
          -v etcd_etc_pki:/etc/pki -v etcd_etc_ssl:/etc/ssl \
          -v etcd_var_log:/var/log -v etcd_etc_kolla_defaults:/etc/kolla/defaults \
          -v etcd_var_lib_kolla_share:/var/lib/kolla/share \
          -v /opt/kolla/etcd:/var/lib/kolla/config_files/:ro \
          <docker_fqdn>/project_k/etcd:ks2026.2.1-sberlinux kolla_start
      

      где docker_fqdn — полное доменное имя сервиса docker.<lcm_name>.vm.lab.itkey.com.

    4. Убедитесь, что участник перешёл в состояние started, а все конечные точки кластера работоспособны, и остановите временный контейнер:

      $ sudo podman exec etcd sh -c 'unset ETCDCTL_WRITE_OUT; etcdctl endpoint health --cluster'
      $ sudo podman stop etcd_join && sudo podman rm -f etcd_join
      
    5. Повторите шаги для второго узла, указав корректные значения параметров в переменных окружения.

    Примечание

    Значения параметра ETCD_INITIAL_CLUSTER для первого и второго узлов будут различаться.

  5. Выполните развёртывание на всю группу управляющих узлов:

    1. На уцелевшем узле остановите контейнер keystone_fernet:

      $ systemctl stop kolla-keystone_fernet-container.service
      
    2. Откройте веб-интерфейс развёрнутого GitLab.

    3. Перейдите в репозиторий project_k / deployments / <имя региона>.

    4. Создайте новый пайплайн: Build > Pipelines > New Pipeline.

    5. В открывшемся окне укажите значение переменной KOLLA_ARGS равное -e mariadb_ssl_status=YES --limit control --skip-tags opensearch.

    6. Запустите пайплайн New pipeline.

    7. Дождитесь завершения задачи setup.

    8. Запустите задачу deploy.

    9. Дождитесь завершения выполнения задачи.

    10. Создайте новый пайплайн: Build > Pipelines > New Pipeline.

    11. В открывшемся окне добавьте переменную PLEASE_CALL_VENDOR со значением true.

    12. Запустите пайплайн New pipeline.

    13. Дождитесь завершения задачи setup.

    14. Запустите задачу rabbitmq-reset.

    15. Дождитесь завершения выполнения задачи.

Восстановление кластера OpenSearch

Конфигурация голосования уцелевшего узла содержит идентификаторы отказавших узлов, поэтому управляющий узел не может быть выбран. В журнале (/var/log/kolla/opensearch/<имя-кластера>.log) повторяется сообщение cluster-manager not discovered or elected yet.

  1. Остановите OpenSearch на уцелевшем узле:

    $ sudo systemctl stop kolla-opensearch-container.service
    
  2. На уцелевшем узле выполните принудительный выбор управляющего узла:

    $ printf 'y\n' | sudo podman run --rm -i --network host \
        -v opensearch:/var/lib/opensearch/data \
        -v opensearch_etc_opensearch:/etc/opensearch \
        -v opensearch_var_log_opensearch:/var/log/opensearch \
        -v kolla_logs:/var/log/kolla \
        -v opensearch_etc_pki:/etc/pki -v opensearch_etc_ssl:/etc/ssl \
        --entrypoint '["/usr/share/opensearch/bin/opensearch-node","unsafe-bootstrap"]' \
        <docker_fqdn>/project_k/opensearch:ks2026.2.1-sberlinux
    

    где docker_fqdn — полное доменное имя сервиса docker.<lcm_name>.vm.lab.itkey.com.

  3. Запустите OpenSearch на уцелевшем узле и подождите 3 минуты.

    $ sudo systemctl start kolla-opensearch-container.service
    
  4. Запустите OpenSearch на добавляемых узлах:

    1. Откройте веб-интерфейс развёрнутого GitLab.

    2. Перейдите в репозиторий project_k / deployments / <имя региона>.

    3. Создайте новый пайплайн: Build > Pipelines > New Pipeline.

    4. В открывшемся окне укажите значение переменной KOLLA_ARGS равное -t opensearch --limit <узел-1>,<узел-2>.

    5. Запустите пайплайн New pipeline.

    6. Дождитесь завершения задачи setup.

    7. Запустите задачу deploy.

    8. Дождитесь завершения выполнения задачи.

    Примечание

    Пайплайн завершится ошибкой, это нормально, важно дождаться завершения задачи Restart opensearch container.

  5. Удалите только те индексы, у которых основной шард остался нераспределённым (prirep = p, состояние UNASSIGNED, причина CLUSTER_RECOVERED): их данные размещались только на отказавших узлах и не восстанавливаются. Из-за них кластер остаётся в состоянии red, а задание deploy в предыдущем пункте завершается ошибкой:

    1. Получите список индексов на удаление:

      $ sudo podman exec opensearch curl -s -k \
          --cert /etc/opensearch/opensearch-cert.pem \
          --key /etc/opensearch/opensearch-key.pem \
          "https://localhost:9200/_cat/indices?h=health,index" | grep -v "^green"
      
    2. Для каждого индекса выполните команду на удаление:

      $ sudo podman exec opensearch curl -s -k \
          --cert /etc/opensearch/opensearch-cert.pem \
          --key /etc/opensearch/opensearch-key.pem \
          -X DELETE "https://localhost:9200/<индекс>"
      

    где <индекс> — имя индекса из предыдущей команды.

  6. Приведите кластер OpenSearch в консистентное состояние:

    1. Откройте веб-интерфейс развёрнутого GitLab.

    2. Перейдите в репозиторий project_k / deployments / <имя региона>.

    3. Создайте новый пайплайн: Build > Pipelines > New Pipeline.

    4. В открывшемся окне укажите значение переменной KOLLA_ARGS равное -t opensearch --limit control.

    5. Запустите пайплайн New pipeline.

    6. Дождитесь завершения задачи setup.

    7. Запустите задачу deploy.

    8. Дождитесь завершения выполнения задачи.

    Примечание

    Объём потерянных данных зависит от того, на каких узлах располагались основные шарды, и заранее неизвестен: при проверке процедуры в одном случае были потеряны журналы за два дня, в другом — за четыре дня и индекс .kibana_1 с настройками панелей.

  7. Восстановление работы индексации OpenSearch:

    1. Перейдите в Портале администратора в раздел Логирование.

    2. При первом входе после восстановления OpenSearch направит вас на страницу создания шаблонов.

    3. Нажмите кнопку Create index pattern.

    4. В появившемся окне в поле Index pattern name укажите flog* и нажмите Next Step.

    5. В поле Time field выберите из выпадающего списка @timestamp и нажмите Create index pattern.

Проверка результата

  1. Перейдите в веб-интерфейс Портала администратора.

  2. Авторизуйтесь, используя учётную запись с ролью admin. При успешной установке отобразится общий дашборд платформы.

    Состояние системы на Портале администратора

    Состояние системы на Портале администратора

  3. Убедитесь, что все сервисы и узлы в состоянии up / OK.

  4. Если состояние сервисов не соответствует up / OK, выполните следующие действия:

    1. Перейдите в раздел Настройки региона > Службы.

    2. Из выпадающего списка Имя хоста выберите необходимый узел.

    3. Из выпадающего списка Docker, Systemd, Podman выберите Systemd.

    4. Из выпадающего списка Команда выберите команду restart.

    5. Из выпадающего списка Идентификатор/Наименование выберите наименование службы, которое начинается с kolla-.

    6. Нажмите кнопку Выполнить для запуска команды.

  5. Проверьте базовую функциональность региона: создайте виртуальную машину, том Cinder и выполните миграцию виртуальной машины.