Восстановление региона после отказа всех управляющих узлов¶
При отказе всех управляющих узлов восстановите регион из резервной копии базы данных MariaDB: переустановите контроллеры, подготовьте сервисы для восстановления базы данных и повторно разверните сервисы региона. LCM и S3-хранилище с резервными копиями должны быть доступны.
Подключитесь по SSH к LCM-узлу под пользователем, под которым выполнялась установка LCM.
Создайте файл
s3-backup.envс параметрами подключения к S3. Возьмите значения из секретов инсталляции, полученных при установке LCM:export AWS_ACCESS_KEY_ID='<идентификатор-ключа-доступа>' export AWS_SECRET_ACCESS_KEY='<секретный-ключ-доступа>' export AWS_REGION='garage' export S3_ENDPOINT_URL='https://<адрес-S3-хранилища>'
Загрузите переменные в текущую оболочку:
$ source ./s3-backup.env
На LCM-узле просмотрите содержимое контейнера
db-backups:$ s5cmd --no-verify-ssl ls s3://db-backups
Скачайте актуальную резервную копию
*.gz.encи соответствующий файл контрольной суммы*.gz.enc.sha256в текущий каталог на LCM-узле. Замените имя в командах на имя выбранной резервной копии:$ s5cmd --no-verify-ssl cp s3://db-backups/itkey-backup-full-25-09-2026-1790329417.mbs.gz.enc.sha256 . $ s5cmd --no-verify-ssl cp s3://db-backups/itkey-backup-full-25-09-2026-1790329417.mbs.gz.enc .
Переустановите ОС всех контроллеров:
На сетевом оборудовании включите
lacp-fallbackдля портов, к которым подключены интерфейсы управления контроллеров.Откройте веб-интерфейс NetBox.
Перейдите в раздел и найдите все контроллеры восстанавливаемого региона.
Для каждого контроллера установите в пользовательском поле
stateзначениеready. Полеstatusоставьте в значенииactive.Важно
Пайплайн отбирает узлы по условию
status = activeиstateиз набораready,redeploy,shred,setup,free. Убедитесь, что состояния из этого набора назначены только контроллерам, ОС которых требуется переустановить. Остальные узлы региона должны оставаться в состоянииproduction, иначе пайплайн переустановит и их.Откройте веб-интерфейс GitLab.
Перейдите в репозиторий project_k / services / baremetal.
Создайте новый пайплайн: .
Выберите ветку, соответствующую установленному релизу.
Добавьте переменную
TARGET_CLOUDсо значением тега окружения в NetBox в нижнем регистре.Добавьте переменную
TARGET_ROLEсо значениемcontroller.Добавьте переменную
TARGET_NODEсо списком имён всех контроллеров восстанавливаемого региона через пробел.Добавьте переменную
IRONIC_ENVсо значениемBIFROST.Добавьте переменную
IRONIC_IMAGE_URLсо значением URL образа ОС, соответствующего установленному релизу.Примечание
Переменная
TARGET_NODEслужит дополнительной защитой: пайплайн сверяет имена со списком отобранных узлов и работает только с указанными контроллерами.Переменную
UNDEPLOYсо значениемtrueзадавайте только в том случае, если контроллеры уже зарегистрированы в Ironic и находятся в состоянииactive,deploy failed,deployingилиwait call-back. Если контроллеры в Ironic отсутствуют, они будут зарегистрированы заново и переменная не нужна.Запустите пайплайн кнопкой New pipeline.
Дождитесь выполнения дочерних пайплайнов для всех контроллеров. Каждый контроллер последовательно проходит стадии
ready,inspect,validate,shred,setupиdone.Примечание
На стадии
inspectконтроллер перезагружается в образ IPA (Ironic Python Agent) и недоступен для обычного подключения. Стадияshredвыполняет очистку дисков только при заданном параметреclean_stepsвconfig_contextустройства; в противном случае стадия завершается без действий, а диск перезаписывается образом на стадииsetup.Стадия
doneзапускается с задержкой около пяти минут и возвращает полюstateв NetBox значениеproduction.
Выполните начальную настройку контроллеров:
Откройте веб-интерфейс GitLab.
Перейдите в репозиторий региона project_k / deployments / <имя региона>.
Создайте новый пайплайн: .
Укажите значение переменной
KOLLA_ARGSравное--limit control.Запустите пайплайн кнопкой New pipeline.
Дождитесь успешного завершения setup.
Запустите задачу bootstrap-servers для контроллеров.
Дождитесь завершения задачи.
Запустите задачу host-config.
Дождитесь завершения задачи.
Перезагрузите контроллеры. Для этого подключитесь по SSH под ТУЗ к каждому контроллеру и выполните команду:
$ sudo reboot
SSH-соединение будет разорвано. Дождитесь загрузки контроллеров и убедитесь, что к каждому из них можно повторно подключиться по SSH.
Подключитесь по SSH под ТУЗ к первому контроллеру — первому узлу в группе
[control]файлаinventoryрегиона. Создайте том Podman и каталог для резервной копии, затем назначьте владельца:$ sudo podman volume create mariadb_backup $ sudo mkdir -p /var/lib/containers/storage/volumes/mariadb_backup/_data/backup-full $ sudo chown -R 42434:42434 /var/lib/containers/storage/volumes/mariadb_backup/_data/backup-full
Перенесите скачанные резервную копию и файл контрольной суммы с LCM-узла на первый контроллер в каталог
/var/lib/containers/storage/volumes/mariadb_backup/_data/backup-full. Если имена файлов содержат префикс региона, удалите его, переименовав оба файла. Убедитесь, что файлы доступны владельцу каталога с UID и GID42434.Разверните сервисы, необходимые для восстановления базы данных:
Откройте веб-интерфейс GitLab.
Перейдите в репозиторий региона project_k / deployments / <имя региона>.
Создайте новый пайплайн: .
Укажите значение переменной
KOLLA_ARGS:-t common,haproxy,mariadb,bird,exabgp,selinux-profiles -l control
Запустите пайплайн кнопкой New pipeline.
Дождитесь завершения setup.
Запустите задачу deploy.
Дождитесь завершения задачи.
Создайте новый пайплайн развёртывания региона:
В том же репозитории региона перейдите в .
Добавьте переменную
PLEASE_CALL_VENDORсо значениемtrue.Запустите пайплайн кнопкой New pipeline.
Дождитесь успешного завершения setup.
Запустите задачу restore_db.
Дождитесь завершения восстановления базы данных.
Выполните развёртывание на управляющих узлах:
Откройте веб-интерфейс GitLab.
Перейдите в репозиторий региона project_k / deployments / <имя региона>.
Создайте новый пайплайн: .
Укажите значение переменной
KOLLA_ARGSравное--limit control.Запустите пайплайн кнопкой New pipeline.
Дождитесь завершения setup.
Запустите задачу deploy.
Примечание
В зависимости от времени жизни токена пайплайн может завершиться с ошибкой
403при обращении к Vault. Эту ошибку можно игнорировать.Настройте KeyVRM согласно Развёртывание и первичная настройка KeyVRM.
Проверьте состояние региона в Портале администратора:
Перейдите в веб-интерфейс Портала администратора.
Авторизуйтесь, используя учётную запись с ролью
admin. Отобразится общий дашборд платформы.Убедитесь, что все сервисы и узлы находятся в состоянии
up/OK.
Если состояние сервисов не соответствует
up/OK, сбросьте состояние RabbitMQ и проверьте состояние платформы:Откройте веб-интерфейс GitLab.
Перейдите в репозиторий региона project_k / deployments / <имя региона>.
Создайте новый пайплайн: .
Добавьте переменную
PLEASE_CALL_VENDORсо значениемtrue.Запустите пайплайн кнопкой New pipeline.
Дождитесь успешного завершения setup.
Запустите задачу reset-rabbitmq-state.
Дождитесь завершения задачи.
Повторно проверьте состояние платформы в Портале администратора.
Для дополнительной проверки RabbitMQ и сервисов OpenStack используйте Проверка состояния кластера RabbitMQ, Получение списка состояний компонентов сервиса Nova в OpenStack и Проверка журналов компонентов Neutron на наличие актуальных ошибок.