Миграция ВМ

Миграция ВМ в KOC выполняется командой server migrate. Подключитесь к KOC (см. Настройка и использование KOC CLI) и выполните команду. Формат команды:

# koc --os-compute-api-version 2.87 server migrate <server>

Параметры команды:

  • [--live-migration] — выполнить live-миграцию ВМ. Нужно использовать опцию --host для указания целевого вычислительного узла;

  • [--host <host name>] — выполнить миграцию на вычислительный узел <host name>;

  • [--shared-migration | --block-migration] — выполнить общую live-миграцию (миграция по умолчанию) / выполнить блочную live-миграцию;

  • [--disk-overcommit | --no-disk-overcommit] — разрешить избыточную фиксацию диска на целевом управляющем узле / не выполнять избыточную фиксацию диска на целевом управляющем узле;

  • [--wait] — дождаться завершения миграции;

  • <server> — мигрирующая ВМ (имя или ID).

Миграция ВМ с перегрузкой по памяти

При работе с ВМ с перегруженной памятью компонент Nova по умолчанию использует следующую формулу: Тайм-аут = базовый_тайм-аут (800 сек) * объем оперативной памяти (ГБ). Таким образом, live-миграция нагруженных ВМ с большим объемом ОЗУ может занимать много времени.

Существует механизм принудительного завершения миграции по истечении тайм-аута, который может использовать два сценария реализации:

  • Посткопирование (post-copy) — производится перенос ВМ на целевой вычислительный узел и постепенное донесение содержимого оперативной памяти. Работа ВМ до полного переноса памяти проходит в режиме пониженной производительности.

  • Автоматическая сходимость (auto converge) — если миграция не может завершиться, то компонент начинает замедлять работу процессора ВМ до тех пор, пока процесс копирования памяти не станет быстрее, чем изменение памяти ВМ.

Таким образом, можно оптимизировать процесс live-миграции, подобрав оптимальное время тайм-аута и выбрав предпочтительный сценарий реализации принудительного завершения миграции.

Примечание

Сценарий механизма администратор может выбрать при инсталляции на свое усмотрение. Для этого в репозитории региона необходимо создать файл config/nova/nova-compute.conf с содержимым:

[libvirt]
live_migration_completion_timeout = 800
live_migration_permit_post_copy = False
live_migration_permit_auto_converge = False

Администратор задаёт таймаут в секундах в формате целого числа и устанавливает значение True для выбранного сценария.

Также существует возможность принудительной отмены миграции. Когда большая ВМ достаточно долго находится в статусе миграции при live-миграции, становится доступно новое действие — отмена миграции. Это действие можно выполнить с помощью кнопки Stop migration в интерфейсе ВМ.

Live-миграция ВМ

Если у ВМ выставлено свойство availability_zone, при live-миграции этой ВМ не предлагаются гипервизоры из других зон доступности. Это можно изменить, выбрав опцию Ignore AZ restriction в интерфейсе ВМ, после чего для миграции станут доступны все гипервизоры, а live-миграция будет проводиться с ключом force.

Предупреждение

Нестабильная работа сети может привести к сбою живой миграции. При выполнении live-миграции виртуальных машин требуется стабильное сетевое соединение между вычислительными узлами для корректного переноса состояния памяти и данных ВМ.

Чтобы провести live-миграцию ВМ через Портал администратора:

  1. В левом меню Портала перейдите в раздел Ресурсы > Виртуальные машины и выберите любую машину из таблицы ВМ.

  2. Нажмите выпадающий список в столбце Actions и выберите Placement management, а затем Live Migrate.

  3. В открывшемся окне поставьте флажок Игнорировать зону доступности, выберите нужный гипервизор и нажмите кнопку Мигрировать.

Live-миграция ВМ

Live-миграция ВМ

Если live-миграция завершилась ошибкой:

  1. Убедитесь в стабильности сетевого соединения между исходным и целевым вычислительными узлами. Проверьте отсутствие потерь пакетов и задержек в сети.

  2. Сбросьте статус виртуальной машины через действие Reset State в столбце Actions на странице ВМ в Портале администратора. Это действие вернёт ВМ в рабочее состояние и позволит повторить операцию миграции.

  3. Повторно запустите миграцию после устранения сетевых проблем и сброса статуса ВМ.

Миграция ВМ с дисками между регионами

При необходимости вы можете переносить виртуальные машины с дисками из одного региона в другой. Для этого исходный регион и регион назначения должны быть развёрнуты с использованием одного LCM-узла. Кроме того, в проекте исходного региона в GitLab должен быть настроен файл config/adminui/adminui-backend-regions.conf — см. Настройка Портала администратора для нескольких регионов.

Чтобы перенести ВМ с дисками в другой регион:

  1. В верхней части Портала администратора выберите исходный регион и проект исходной ВМ.

    Выбор исходного региона и проекта

    Выбор исходного региона и проекта

  2. Перейдите в раздел Ресурсы > Виртуальные машины и найдите ВМ для переноса. При наличии одноимённых ВМ проверьте ID выбранной машины: нажмите на её имя, чтобы перейти на страницу ВМ, и посмотрите значение параметра id на вкладке Статус.

  3. В строке ВМ откройте меню действий ⋮ и выберите Управление размещением > Миграция в другой регион.

    Выбор ВМ для миграции

    Выбор ВМ для миграции

  4. На открывшейся странице заполните параметры миграции в следующем порядке:

    1. Выберите регион назначения в поле Region.

    2. Выберите проект в регионе назначения в поле Project.

    3. Выберите тип ВМ в регионе назначения в поле Flavor.

    4. Настройте перенос портов в поле Ports To Replicate. Для этого нажмите кнопку ⋮ справа от него. В открывшейся панели Ports to replicate Options выберите исходный порт в поле Source Port и сопоставьте его с сетью региона назначения в поле Destination Network. Для переноса нескольких портов нажмите Добавить Port и настройте сопоставление для каждого порта. Если требуется определённый IP-адрес в сети назначения, нажмите Добавить Fixed IP в блоке соответствующего порта и задайте параметры адреса для выбранной сети.

    5. При необходимости выберите ключевую пару в поле Keypair.

    6. При необходимости выберите группы безопасности для целевой ВМ в поле Security Groups.

    7. Проверьте регион, проект, тип ВМ, сопоставление портов и сетей, ключевую пару и группы безопасности.

    Настройка параметров миграции ВМ

    Настройка параметров миграции ВМ

  5. Нажмите кнопку Начать миграцию.

  6. После запуска миграции отслеживайте её выполнение на странице истории операций:

    • В верхней части Портала администратора выберите исходный регион и проект исходной ВМ.

    • Перейдите в раздел Журналы событий > История операций. На вкладке Список операций найдите запись Миграция ВМ между регионами. При необходимости используйте фильтры Действие, Начало после и ID сущности. Если ID операции уже известен, используйте фильтр ID операции. Сверьте время запуска и связанную ВМ, чтобы отличить текущую операцию от предыдущих попыток.

    • Включите переключатель Автообновление. Данные списка запрашиваются приблизительно каждые 10 секунд, но фактический интервал может быть больше из-за времени подготовки ответа.

    • Нажмите на строку операции, чтобы открыть страницу Детали операции. В блоке Общая информация проверяйте значение поля Статус. В блоке Шаги операции отслеживайте прогресс в поле Прогресс операции, текущий шаг со статусом В процессе и состояния остальных шагов. Для шага со статусом Ошибка просмотрите текст ошибки в раскрытом блоке шага.

    В истории операций могут отображаться статусы В очереди, В процессе, Завершено, Ошибка и Пропущен. Дождитесь общего статуса Завершено и убедитесь, что все шаги завершились успешно. Если операция или отдельный шаг получили статус Ошибка, следуйте приведённым ниже рекомендациям по диагностике и восстановлению.

    Успешное завершение миграции ВМ

    Успешное завершение миграции ВМ

    Во время переноса исходная ВМ выключается, её диски подготавливаются и выгружаются в образы, а данные копируются в регион назначения. Создание целевой ВМ ещё не означает завершения всей операции: дождитесь снятия блокировки с исходной ВМ и очистки временных сущностей.

  7. Проверьте результат миграции и определите дальнейшие действия:

    • В регионе назначения выберите проект, указанный при запуске миграции, и откройте Ресурсы > Виртуальные машины. Найдите созданную ВМ. При наличии одноимённых ВМ сопоставьте ID с сущностью шага Создание виртуальной машины на странице Детали операции. Для дальнейших действий идентифицируйте ресурсы по региону и ID, а не только по имени.

    • Убедитесь, что целевая ВМ автоматически запустилась и получила статус ACTIVE. Проверьте подключение всех ожидаемых дисков, их размеры и назначение, а также порты, выбранную сеть и группы безопасности. Учитывайте, что IP-адрес в регионе назначения может отличаться от исходного.

    • Откройте консоль целевой ВМ. Проверьте загрузку гостевой ОС, доступность дисков, чтение данных и работу приложения. Проверьте сетевую доступность и плавающий IP-адрес, если он используется.

    • Выберите исходный регион и проект исходной ВМ. Убедитесь, что исходная ВМ сохранилась в статусе SHUTOFF. До завершения проверки целевой ВМ и данных сохраняйте исходную ВМ выключенной. Последующие изменения данных в целевой ВМ не передаются в сохранённую исходную копию.

    • После проверки работоспособности определите срок хранения исходной копии. Если она больше не нужна, удалите её вручную, поскольку завершение шага Очистка временных сущностей не удаляет исходную ВМ (порядок действий см. в разделе Удаление ВМ). Если при удалении исходной ВМ требуется сохранить подключённые диски, предварительно проверьте значение delete_on_termination для каждого сохраняемого подключения. Оно должно быть false. Убедитесь, что выбранное действие также не предусматривает отдельного удаления этих дисков. Не удаляйте ВМ, пока не убедитесь, что необходимые диски будут сохранены.

Для обратной миграции используйте актуальную ВМ, работающую после первого переноса. Первоначальный регион становится регионом назначения. Перед запуском проверьте, не заняты ли в выбранной сети MAC-адреса переносимых портов. Порт сохранённой выключенной ВМ также занимает MAC-адрес, поэтому переименование ВМ не устраняет конфликт. Сохранённый отдельно диск без сетевого порта конфликта MAC-адресов не создаёт. Порядок устранения конфликта в случае возникновения ошибки MacAddressInUse описан ниже. Не удаляйте ресурсы только по совпадению имени.

Если операция миграции или отдельный шаг получили статус Ошибка:

  • Откройте страницу Детали операции, найдите ошибочный шаг и прочитайте текст ошибки. Последующие шаги могут получить статус Пропущен. Проверьте, выполнялся ли шаг Остановка ВМ.

  • Для поиска связанных записей в истории операций и журналах используйте ID операции, ID переносимой ВМ, время выполнения и идентификатор запроса, если он указан в тексте ошибки. При поиске учитывайте регион и проект. Созданные ресурсы в регионе назначения проверяйте по ID.

  • После ошибки система пытается удалить ресурсы, созданные при миграции. Если процедура миграции остановила исходную ВМ и установила на неё блокировку, система также пытается снять эту блокировку и запустить ВМ. Эти действия могут продолжаться после появления статуса Ошибка. Перед повторным запуском миграции проверьте состояние исходной ВМ и наличие созданных ресурсов в обоих регионах. Отсутствие целевой ВМ не подтверждает отсутствие других созданных ресурсов.

  • Если при копировании портов текст ошибки сообщает, что MAC-адрес уже используется в сети (MacAddressInUse или The mac address ... is in use), найдите конфликтующий порт в указанной сети региона назначения. Определите связанный ресурс по device_id и назначению порта. При обратной миграции им может оказаться сохранённая исходная ВМ от предыдущего переноса. Если сетевое подключение старой ВМ больше не требуется, в разделе Сети > Порты выберите для её порта действие Открепить от ВМ. После открепления проверьте, остался ли порт в списке. Если остался, удалите его, выполнив действие Удалить порт. Саму ВМ и её диски удалять при этом не требуется. Если порт необходимо сохранить, выберите для обратной миграции другую сеть без конфликта MAC-адресов.

  • После освобождения конфликтующего MAC-адреса повторно запустите миграцию, если предыдущая операция завершилась со статусом Ошибка, шаг Остановка ВМ был пропущен, переносимая ВМ сохранилась в статусе ACTIVE, а новые ресурсы в регионе назначения не появились. Найдите новую запись в истории по ID и времени запуска, дождитесь её завершения и повторите проверку результата. При ошибке на другом этапе или наличии частично созданных ресурсов проверьте состояние исходной ВМ, её блокировку и оставшиеся ресурсы в обоих регионах. Причину ошибки и выполнение автоматического отката уточните по журналам — см. Диагностика миграции. До завершения проверки не удаляйте переносимую ВМ и не запускайте миграцию повторно.

Если операция длительное время остаётся в статусе В очереди или В процессе, проверьте время последнего обновления списка и повторно откройте её детали. Если прогресс не меняется или состояние ресурсов не соответствует ходу операции, сопоставьте ID операции, ID ВМ, текущий шаг, время запуска и фактическое состояние ресурсов с записями в журналах — см. Диагностика миграции. До определения состояния операции не запускайте повторную миграцию и не удаляйте связанные ресурсы.

Диагностика миграции

Для диагностики разных видов миграции ВМ используйте историю операций и системные журналы. Если миграция завершилась ошибкой, просмотрите сведения об операции и системные события:

  1. В Портале администратора перейдите в раздел Журналы событий > История операций. Если миграция запускалась через Портал администратора и операция зарегистрирована в истории, найдите операцию миграции нужной ВМ и откройте её детали для просмотра шагов выполнения и информации об ошибке. Для поиска можно использовать фильтр ID сущности, указав идентификатор ВМ. Подробнее см. История операций.

    Раздел «История операций» в Портале администратора

    Раздел «История операций» в Портале администратора

  2. Для более глубокого анализа перейдите в раздел Журналы событий > Анализ логов. В OpenSearch Dashboards откройте Discover, выберите шаблон индексов с системными журналами и задайте временной диапазон, охватывающий время миграции.

  3. В строке поиска введите запрос, например: "59dde00c-d3fb-46d6-955e-6b0365d80269" AND Migrating. Здесь 59dde00c-d3fb-46d6-955e-6b0365d80269 — идентификатор (UUID) виртуальной машины. Замените его на идентификатор нужной ВМ. Запрос позволяет найти записи, содержащие этот идентификатор и слово Migrating.

    Раздел «Анализ логов» в Портале администратора

    Раздел «Анализ логов» в Портале администратора

    Если записи не найдены, выполните поиск только по UUID ВМ, убрав условие AND Migrating. Текст сообщений зависит от вида миграции и компонента, который её выполняет. При межрегиональной миграции проверьте журналы исходного и целевого регионов.

Эвакуация ВМ с отказавшего вычислительного узла

Эвакуация переносит ВМ на другие вычислительные узлы после отказа исходного. При включённом HA процесс происходит автоматически и выполняется KeyVRM. Если автоматическая эвакуация недоступна или завершилась ошибкой, выполните её вручную.

Ошибка эвакуации не означает, что KeyVRM остановился. Пока сервис работает, он может повторять попытки эвакуации. Поэтому, если KeyVRM доступен, перед ручной эвакуацией включите режим NOOP у хост-агрегата с отказавшим узлом (см. Управление KeyVRM). Включённый NOOP приостанавливает автоматическую обработку агрегата. Уже запущенные операции он не отменяет, поэтому необходимо дождаться их завершения. После успешной ручной эвакуации выключите NOOP, если включали его для этих работ.

Перед ручной эвакуацией убедитесь, что исходный узел выключен или изолирован и ВМ на нём не работают. На целевых узлах должны быть доступны ресурсы для размещения ВМ и используемое ими хранилище. Эвакуация не копирует данные локальных дисков с недоступного узла: возможность сохранения данных зависит от используемого хранилища.

Если необходимо провести плановое обслуживание работающего узла, используйте режим обслуживания.

Для ручной эвакуации выполните следующие действия:

  1. Настройте подключение KOC на Control-узле (см. Настройка и использование KOC CLI).

  2. На Control-узле получите список сервисов nova-compute:

    $ ./koc compute service list --service nova-compute -f yaml
    

    Найдите отказавший узел в поле Host и убедитесь, что его State имеет значение down.

  3. Запретите размещение новых ВМ на узле:

    $ ./koc compute service set --disable "<имя отказавшего узла>" nova-compute
    

    Запрет сохранится после восстановления узла. Прежде чем снова разрешить размещение новых ВМ, убедитесь, что узел работает исправно.

  4. Получите UUID всех ВМ отказавшего узла и сохраните их в переменную vms:

    vms=$(./koc server list --all --host "<имя отказавшего узла>" -c ID -f value)
    
  5. Запустите эвакуацию ВМ:

    for vm in $vms; do
        ./koc server evacuate "$vm"
    done
    

    Целевые узлы выбирает планировщик Nova. Эвакуация выполняется асинхронно для каждой ВМ.

    Для эвакуации отдельной ВМ используйте команду:

    $ ./koc server evacuate "<ВМ_ID>"
    Requested evacuation of server <ВМ_ID>
    

    Сообщение Requested evacuation подтверждает принятие запроса.

  6. Подождите некоторое время, а затем проверьте состояние всех ВМ из сохранённого списка vms:

    for vm in $vms; do
        ./koc server show "$vm"
    done
    

    Убедитесь, что OS-EXT-SRV-ATTR:host изменилось на имя нового узла, а поле OS-EXT-STS:task_state пустое.

    Для работающей ВМ ожидаются status: ACTIVE и OS-EXT-STS:power_state: Running. Если ВМ должна быть запущена, но после успешной эвакуации находится в статусе SHUTOFF, запустите её:

    $ ./koc server start "<ВМ_ID>"
    

    Если ВМ перешла в ERROR, определите причину сбоя по рекомендациям ниже.

  7. Для ВМ с томами Cinder проверьте подключение каждого тома:

    $ ./koc volume show "<UUID тома>" -f yaml -c id -c status -c attachments
    

    Убедитесь, что том имеет статус in-use, в attachments указан UUID нужной ВМ, а поле hostname содержит имя вычислительного узла, на который была эвакуирована ВМ.

Если эвакуация завершилась ошибкой, проверьте ошибку ВМ и историю операций:

$ ./koc server show "<ВМ_ID>" -f yaml -c name -c status -c fault
$ ./koc server migration list --server "<ВМ_ID>" -f yaml

Ошибка эвакуации ВМ может иметь следующие причины:

  • Нет подходящего целевого узла — NoValidHost. Проверьте доступные ресурсы и требования размещения ВМ: зону доступности, свойства флейвора, метаданные хост-агрегатов и ограничения групп серверов. Наличие свободных CPU и RAM не гарантирует подходящего размещения. В частности, фильтр AggregateInstanceExtraSpecsFilter исключает узел, если метаданные агрегата не соответствуют требованиям aggregate_instance_extra_specs флейвора. Причину исключения узлов проверьте в журнале nova-scheduler.

  • Ошибка Cinder при удалении старого или создании нового подключения тома. Проверьте доступность хранилища и состояние экспорта тома. Наличие самого тома и статус in-use в Cinder не подтверждают, что его экспорт доступен. Например, при отсутствии iSCSI target удаление старого подключения может завершиться ошибкой HTTP 500. Для уточнения причины проверьте журналы cinder-api, cinder-volume и nova-compute на целевом узле.

После устранения причины ошибки повторите эвакуацию затронутых ВМ и проверьте её результат.

После восстановления и проверки исходного узла снимите запрет на размещение новых ВМ. На Control-узле выполните команду:

$ ./koc compute service set --enable "<имя отказавшего узла>" nova-compute

Аварийное восстановление ВМ (Nova rescue)

Режим аварийного восстановления (Nova rescue) позволяет получить доступ к исходным дискам ВМ из другой ОС, чтобы проверить файловые системы, исправить конфигурацию исходной ОС или скопировать данные. Используйте этот режим, если исходная ОС ВМ не загружается или недоступна для входа.

Nova загружает ВМ с отдельного rescue-образа и переводит её в статус RESCUE. Rescue-образ должен содержать инструменты для работы с файловыми системами восстанавливаемых дисков.

Перевод в режим восстановления разрешён для ВМ в статусах ACTIVE, SHUTOFF и ERROR. Выход из режима восстановления выполняется из статуса RESCUE.

Перед запуском подготовьте rescue-образ и выберите способ входа в его ОС:

  • Задайте в метаданных rescue-образа следующие свойства: hw_rescue_device=disk и hw_rescue_bus=scsi. Они определяют тип rescue-устройства и шину его подключения и включают режим восстановления с сохранением порядка исходных устройств. Для ВМ с загрузкой с тома требуется Compute API версии 2.87 или выше.

  • Проверьте способ входа в ОС выбранного rescue-образа и подготовьте необходимые учётные данные.

Примечание

Не используйте rescue-образ с непустым значением img_block_device_mapping. Это свойство описывает схему дисков ВМ и может присутствовать у образов, созданных на основе снимков дисков ВМ. Nova отклоняет такие образы при запуске rescue.

Для входа в rescue-ОС можно использовать учётные данные самого образа или новый пароль пользователя root, установленный средствами Nova.

Для стандартного CirrOS имя пользователя cirros и пароль по умолчанию указаны в приветствии консоли после загрузки. Для выполнения команд с правами root используйте sudo.

При использовании драйвера libvirt и rescue-образа со свойствами hw_rescue_device=disk и hw_rescue_bus=scsi Nova сохраняет подключение исходного диска конфигурации (config drive), если он есть у ВМ. Новый пароль из формы Rescue VM не передаётся rescue-ОС через этот диск. Для входа используйте учётные данные, предусмотренные в rescue-образе.

Настройки установки пароля задаются для сервиса nova-compute, а не для отдельной ВМ. Файл config/nova/nova-compute.conf содержит общие настройки для Compute-узлов региона. Если для отдельного узла заданы свои значения, применяются они.

Если выбран вход с новым паролем пользователя root и ВМ не использует диск конфигурации, настройте установку пароля в файловой системе rescue-образа до загрузки ОС. Для сервиса nova-compute с драйвером libvirt выполните следующие действия:

  1. Проверьте, что Linux-образ поддерживает установку пароля в его корневой файловой системе до загрузки ОС.

  2. Откройте веб-интерфейс GitLab.

  3. Перейдите в репозиторий региона project_k / deployments / <имя региона>.

  4. Перейдите в каталог config/nova. Если такого каталога нет, создайте его.

  5. Откройте или создайте в этом каталоге файл nova-compute.conf. В секции [libvirt] добавьте или измените параметры:

    [libvirt]
    inject_password = true
    inject_partition = <значение>
    
    • inject_password=true — разрешает Nova устанавливать пароль пользователя root в файловой системе образа.

    • inject_partition — определяет, какую файловую систему образа Nova использует для установки пароля пользователя root до загрузки ОС. Укажите значение с учётом разметки rescue-образа: -1 — автоматическое определение раздела через libguestfs; 0 — образ без таблицы разделов; положительное целое число — номер раздела. Значение -2 отключает установку пароля в файловой системе образа.

  6. Сохраните изменения в репозитории региона.

  7. Создайте новый пайплайн: Build > Pipelines > New Pipeline.

  8. Оставьте ветку по умолчанию, соответствующую установленному релизу, и убедитесь, что в ней сохранены изменения.

  9. В открывшемся окне укажите параметры:

    • KOLLA_ANSIBLE_DEPLOY_ACTION — deploy;

    • KOLLA_ARGS — -t nova.

  10. Запустите пайплайн: New pipeline.

  11. Дождитесь успешного завершения задачи setup.

  12. Запустите задачу deploy и дождитесь её успешного завершения.

  13. На Compute-узле просмотрите файл конфигурации nova-compute, расположенный по пути:

    • SberLinux — /opt/kolla/nova-compute/nova.conf;

    • Ubuntu — /etc/kolla/nova-compute/nova.conf.

    В секции [libvirt] проверьте, что задано inject_password=true, а значение inject_partition соответствует выбранному rescue-образу.

  14. Проверьте установку пароля на отдельной тестовой ВМ без диска конфигурации. По инструкции ниже переведите её в режим восстановления с подготовленным образом. Дождитесь загрузки rescue-ОС и войдите под учётной записью root, используя пароль, заданный в модальном окне Rescue VM. После проверки выведите ВМ из режима восстановления.

Чтобы запустить аварийное восстановление:

  1. На Портале администратора выберите регион и проект ВМ. Перейдите в раздел Ресурсы > Виртуальные машины и найдите нужную ВМ. Определите ID машины: нажмите на её имя и посмотрите значение поля id на вкладке Статус.

  2. В строке ВМ откройте меню действий ⋮ и выберите Восстановление ВМ > Режим восстановления.

    Выбор режима аварийного восстановления ВМ

    Выбор режима аварийного восстановления ВМ

  3. В открывшемся окне Rescue VM заполните поля:

    • Пароль — новый пароль администратора rescue-среды, передаваемый Nova. При успешной установке пароля в файловой системе Linux-образа Nova задаёт его пользователю root. Пароль пользователя cirros при этом не изменяется.

    • Образ — подготовленный rescue-образ.

    Поле Пароль обязательно для заполнения, в том числе при отключённой установке пароля. Если установка отключена, для входа используйте учётные данные rescue-образа. Если оставить поле пустым, форма выведет сообщение «Введите пароль».

    Нажмите Запустить.

    Окно Rescue VM

    Окно Rescue VM

  4. Дождитесь, когда статус ВМ сменится на RESCUE.

  5. Для работы с исходными дисками ВМ войдите в rescue-ОС одним из способов:

    • Через консоль — в меню действий ВМ выберите Показать консоль и дождитесь загрузки rescue-ОС.

    • По SSH — дождитесь загрузки rescue-ОС и подключитесь к ВМ. Подключение возможно, если ВМ доступна по сети и в rescue-ОС настроен SSH-доступ.

    Если вы настроили установку пароля средствами Nova, войдите под учётной записью root, используя пароль, заданный в модальном окне Rescue VM. Успешный вход также подтвердит, что пароль был установлен корректно. В остальных случаях используйте учётные данные rescue-образа.

  6. В rescue-ОС определите исходные диски ВМ и проверьте их доступность. Выполните необходимые работы по восстановлению ВМ.

  7. После завершения работ в меню действий ВМ выберите Восстановление ВМ > Выключить режим восстановления. В окне Unrescue VM проверьте имя ВМ и нажмите Запустить.

  8. Дождитесь статуса ACTIVE, повторно подключитесь к ВМ через консоль или по SSH и проверьте загрузку исходной ОС и доступность данных. Rescue-диск должен быть отключён, а исходные диски — доступны.

Если ВМ получила статус ERROR, не завершается перевод в режим восстановления или выход из него либо в rescue-ОС не работает новый пароль пользователя root:

  1. Скопируйте ID виртуальной машины из поля id на вкладке Статус.

  2. На Control-узле подключитесь к KOC (см. Настройка и использование KOC CLI) и запросите сведения о ВМ:

    $ ./koc server show "<ВМ_ID>" -f yaml
    

    Проверьте состояние ВМ в поле status и описание ошибки в fault, если оно есть. В поле OS-EXT-STS:task_state значение rescuing означает перевод в режим восстановления, а unrescuing — выход из него. После завершения операции поле очищается. Пока оно непустое, Nova отклоняет новый запрос rescue или unrescue. В поле OS-EXT-SRV-ATTR:host найдите имя Compute-узла для следующих проверок.

  3. Проверьте доступность сервиса nova-compute на этом узле:

    $ ./koc compute service list --host "<имя Compute-узла>" --service nova-compute
    

    Значение State должно быть up. Если сервис находится в состоянии down, проверьте доступность Compute-узла и состояние контейнера nova_compute.

  4. Подключитесь по SSH к Compute-узлу из поля OS-EXT-SRV-ATTR:host. Проверьте состояние контейнера и найдите в журнале записи по ID ВМ:

    $ sudo {docker|podman} ps -a --filter name=nova_compute
    $ sudo {docker|podman} exec nova_compute grep -n -F -C 10 "<ВМ_ID>" /var/log/kolla/nova/nova-compute.log
    

    Сопоставьте время записей со временем запуска операции и проверьте ошибки и предупреждения. Если есть исключение, просмотрите его полный текст. Если контейнер остановлен или нужных записей в текущем файле нет, найдите журналы сервиса за тот же период в OpenSearch (см. Журналы и аудит региона). Если ошибка возникла до передачи операции на Compute-узел, проверьте журнал /var/log/kolla/nova/nova-api.log в контейнере nova_api на Control-узле. Ищите записи по ID ВМ и идентификатору запроса req-..., если он указан в ошибке.

    При неработающем пароле проверьте сообщения Ignoring error injecting data into image и Ignoring error injecting admin_password. Nova может завершить перевод ВМ в режим восстановления, даже если установить пароль не удалось. Проверьте совместимость образа и выбранный раздел. Если вы проверяете новый пароль через SSH, убедитесь, что в rescue-ОС разрешён вход под учётной записью root по паролю.

  5. Устраните причину, указанную в журнале:

    • При ошибке доступа к rescue-образу проверьте, что образ находится в статусе active и доступен проекту ВМ. При ошибке подключения rescue-устройства проверьте свойства hw_rescue_device=disk и hw_rescue_bus=scsi и их поддержку используемым гипервизором.

    • При ошибке установки пароля или монтирования файловой системы проверьте inject_password, inject_partition и совместимость rescue-образа с установкой пароля до загрузки ОС, как описано выше.

    • При ошибке доступа к исходному диску или тому проверьте доступность хранилища с Compute-узла. Для томов Cinder на Control-узле проверьте состояние тома и его подключения командой:

      $ ./koc volume show "<ID тома>" -f yaml
      

    Подробности ошибки подключения найдите в журналах Cinder (см. Файлы журналов компонентов платформы).

  6. Если поле OS-EXT-STS:task_state остаётся непустым, проверьте фактическое состояние ВМ на том же Compute-узле:

    $ sudo {docker|podman} exec nova_libvirt virsh domstate "<ВМ_ID>"
    $ sudo {docker|podman} exec nova_libvirt virsh dumpxml "<ВМ_ID>"
    

    В XML проверьте подключённые диски и порядок загрузки, чтобы определить, подключён ли rescue-диск. Сопоставьте результат с последними записями nova-compute. Не сбрасывайте статус ВМ только для снятия признака выполняемой операции: сброс статуса не завершает подключение или отключение дисков.

  7. После устранения причины повторно проверьте статус ВМ, поле OS-EXT-STS:task_state и фактическую конфигурацию дисков. Повторный запрос rescue выполняйте только из допустимого для этой операции состояния при пустом task_state и после проверки последствий предыдущей попытки. Повторный запрос unrescue выполняйте только из RESCUE при пустом task_state. Затем проверьте загрузку ОС и доступность исходных дисков.

    Сброс статуса не заменяет завершение операции. При неработающем пароле в уже загруженной rescue-ОС сначала проверьте способ входа и внедрение пароля.