Восстановление региона после отказа всех управляющих узлов

При отказе всех управляющих узлов восстановите регион из резервной копии базы данных MariaDB: переустановите контроллеры, подготовьте сервисы для восстановления базы данных и повторно разверните сервисы региона. LCM и S3-хранилище с резервными копиями должны быть доступны.

  1. Подключитесь по SSH к LCM-узлу под пользователем, под которым выполнялась установка LCM.

  2. Создайте файл s3-backup.env с параметрами подключения к S3. Возьмите значения из секретов инсталляции, полученных при установке LCM:

    export AWS_ACCESS_KEY_ID='<идентификатор-ключа-доступа>'
    export AWS_SECRET_ACCESS_KEY='<секретный-ключ-доступа>'
    export AWS_REGION='garage'
    export S3_ENDPOINT_URL='https://<адрес-S3-хранилища>'
    

    Загрузите переменные в текущую оболочку:

    $ source ./s3-backup.env
    
  3. На LCM-узле просмотрите содержимое контейнера db-backups:

    $ s5cmd --no-verify-ssl ls s3://db-backups
    
  4. Скачайте актуальную резервную копию *.gz.enc и соответствующий файл контрольной суммы *.gz.enc.sha256 в текущий каталог на LCM-узле. Замените имя в командах на имя выбранной резервной копии:

    $ s5cmd --no-verify-ssl cp s3://db-backups/itkey-backup-full-25-09-2026-1790329417.mbs.gz.enc.sha256 .
    $ s5cmd --no-verify-ssl cp s3://db-backups/itkey-backup-full-25-09-2026-1790329417.mbs.gz.enc .
    
  5. Переустановите ОС всех контроллеров:

    1. На сетевом оборудовании включите lacp-fallback для портов, к которым подключены интерфейсы управления контроллеров.

    2. Откройте веб-интерфейс NetBox.

    3. Перейдите в раздел Devices и найдите все контроллеры восстанавливаемого региона.

    4. Для каждого контроллера установите в пользовательском поле state значение ready. Поле status оставьте в значении active.

      Важно

      Пайплайн отбирает узлы по условию status = active и state из набора ready, redeploy, shred, setup, free. Убедитесь, что состояния из этого набора назначены только контроллерам, ОС которых требуется переустановить. Остальные узлы региона должны оставаться в состоянии production, иначе пайплайн переустановит и их.

    5. Откройте веб-интерфейс GitLab.

    6. Перейдите в репозиторий project_k / services / baremetal.

    7. Создайте новый пайплайн: Build > Pipelines > New Pipeline.

    8. Выберите ветку, соответствующую установленному релизу.

    9. Добавьте переменную TARGET_CLOUD со значением тега окружения в NetBox в нижнем регистре.

    10. Добавьте переменную TARGET_ROLE со значением controller.

    11. Добавьте переменную TARGET_NODE со списком имён всех контроллеров восстанавливаемого региона через пробел.

    12. Добавьте переменную IRONIC_ENV со значением BIFROST.

    13. Добавьте переменную IRONIC_IMAGE_URL со значением URL образа ОС, соответствующего установленному релизу.

      Примечание

      Переменная TARGET_NODE служит дополнительной защитой: пайплайн сверяет имена со списком отобранных узлов и работает только с указанными контроллерами.

      Переменную UNDEPLOY со значением true задавайте только в том случае, если контроллеры уже зарегистрированы в Ironic и находятся в состоянии active, deploy failed, deploying или wait call-back. Если контроллеры в Ironic отсутствуют, они будут зарегистрированы заново и переменная не нужна.

    14. Запустите пайплайн кнопкой New pipeline.

    15. Дождитесь выполнения дочерних пайплайнов для всех контроллеров. Каждый контроллер последовательно проходит стадии ready, inspect, validate, shred, setup и done.

      Примечание

      На стадии inspect контроллер перезагружается в образ IPA (Ironic Python Agent) и недоступен для обычного подключения. Стадия shred выполняет очистку дисков только при заданном параметре clean_steps в config_context устройства; в противном случае стадия завершается без действий, а диск перезаписывается образом на стадии setup.

      Стадия done запускается с задержкой около пяти минут и возвращает полю state в NetBox значение production.

  6. Выполните начальную настройку контроллеров:

    1. Откройте веб-интерфейс GitLab.

    2. Перейдите в репозиторий региона project_k / deployments / <имя региона>.

    3. Создайте новый пайплайн: Build > Pipelines > New Pipeline.

    4. Укажите значение переменной KOLLA_ARGS равное --limit control.

    5. Запустите пайплайн кнопкой New pipeline.

    6. Дождитесь успешного завершения setup.

    7. Запустите задачу bootstrap-servers для контроллеров.

    8. Дождитесь завершения задачи.

    9. Запустите задачу host-config.

    10. Дождитесь завершения задачи.

  7. Перезагрузите контроллеры. Для этого подключитесь по SSH под ТУЗ к каждому контроллеру и выполните команду:

    $ sudo reboot
    

    SSH-соединение будет разорвано. Дождитесь загрузки контроллеров и убедитесь, что к каждому из них можно повторно подключиться по SSH.

  8. Подключитесь по SSH под ТУЗ к первому контроллеру — первому узлу в группе [control] файла inventory региона. Создайте том Podman и каталог для резервной копии, затем назначьте владельца:

    $ sudo podman volume create mariadb_backup
    $ sudo mkdir -p /var/lib/containers/storage/volumes/mariadb_backup/_data/backup-full
    $ sudo chown -R 42434:42434 /var/lib/containers/storage/volumes/mariadb_backup/_data/backup-full
    
  9. Перенесите скачанные резервную копию и файл контрольной суммы с LCM-узла на первый контроллер в каталог /var/lib/containers/storage/volumes/mariadb_backup/_data/backup-full. Если имена файлов содержат префикс региона, удалите его, переименовав оба файла. Убедитесь, что файлы доступны владельцу каталога с UID и GID 42434.

  10. Разверните сервисы, необходимые для восстановления базы данных:

    1. Откройте веб-интерфейс GitLab.

    2. Перейдите в репозиторий региона project_k / deployments / <имя региона>.

    3. Создайте новый пайплайн: Build > Pipelines > New Pipeline.

    4. Укажите значение переменной KOLLA_ARGS:

      -t common,haproxy,mariadb,bird,exabgp,selinux-profiles -l control
      
    5. Запустите пайплайн кнопкой New pipeline.

    6. Дождитесь завершения setup.

    7. Запустите задачу deploy.

    8. Дождитесь завершения задачи.

  11. Создайте новый пайплайн развёртывания региона:

    1. В том же репозитории региона перейдите в Build > Pipelines > New Pipeline.

    2. Добавьте переменную PLEASE_CALL_VENDOR со значением true.

    3. Запустите пайплайн кнопкой New pipeline.

    4. Дождитесь успешного завершения setup.

    5. Запустите задачу restore_db.

    6. Дождитесь завершения восстановления базы данных.

  12. Выполните развёртывание на управляющих узлах:

    1. Откройте веб-интерфейс GitLab.

    2. Перейдите в репозиторий региона project_k / deployments / <имя региона>.

    3. Создайте новый пайплайн: Build > Pipelines > New Pipeline.

    4. Укажите значение переменной KOLLA_ARGS равное --limit control.

    5. Запустите пайплайн кнопкой New pipeline.

    6. Дождитесь завершения setup.

    7. Запустите задачу deploy.

    Примечание

    В зависимости от времени жизни токена пайплайн может завершиться с ошибкой 403 при обращении к Vault. Эту ошибку можно игнорировать.

  13. Настройте KeyVRM согласно Развёртывание и первичная настройка KeyVRM.

  14. Проверьте состояние региона в Портале администратора:

    1. Перейдите в веб-интерфейс Портала администратора.

    2. Авторизуйтесь, используя учётную запись с ролью admin. Отобразится общий дашборд платформы.

    3. Убедитесь, что все сервисы и узлы находятся в состоянии up / OK.

  15. Если состояние сервисов не соответствует up / OK, сбросьте состояние RabbitMQ и проверьте состояние платформы:

    1. Откройте веб-интерфейс GitLab.

    2. Перейдите в репозиторий региона project_k / deployments / <имя региона>.

    3. Создайте новый пайплайн: Build > Pipelines > New Pipeline.

    4. Добавьте переменную PLEASE_CALL_VENDOR со значением true.

    5. Запустите пайплайн кнопкой New pipeline.

    6. Дождитесь успешного завершения setup.

    7. Запустите задачу reset-rabbitmq-state.

    8. Дождитесь завершения задачи.

  16. Повторно проверьте состояние платформы в Портале администратора.

  17. Для дополнительной проверки RabbitMQ и сервисов OpenStack используйте Проверка состояния кластера RabbitMQ, Получение списка состояний компонентов сервиса Nova в OpenStack и Проверка журналов компонентов Neutron на наличие актуальных ошибок.