Алгоритмы HA и LB в KeyVRM

KeyVRM анализирует состояние гипервизоров и виртуальных машин, определяет необходимость эвакуации или балансировки нагрузки и формирует рекомендации для выполнения через Executor.

Для расчета рекомендаций KeyVRM использует снимок региона, сформированный по данным OpenStack, настроенной системы мониторинга и Redis Sentinel. Между сбором данных, расчетом рекомендаций и их выполнением состояние инфраструктуры может измениться.

Параметры работы KeyVRM описаны в разделе Глобальная конфигурация, управление рекомендациями и диагностика — в разделе Управление KeyVRM.

Условия запуска алгоритмов

KeyVRM обрабатывает хост-агрегат, если выполнены следующие условия:

  • в глобальной конфигурации включен переключатель keyvrm включён;

  • в конфигурации агрегата в поле Маркер выбран режим HA, LB или HA+LB;

  • в конфигурации агрегата отключен переключатель Режим NOOP.

Для работы LB в конфигурации хост-агрегата задайте значения полей Множитель CPU (LB), Множитель RAM (LB), Множитель сети (LB), Порог перегрузки гипервизора, % и Предельная нагрузка таргет-гипервизора, %.

Для работы HA в глобальной конфигурации включите хотя бы один механизм фенсинга: Fence Ceph (HA), Fence BMC (HA) или Fence Nova (HA).

Если режим не задан или включен NOOP, расчеты HA и LB не выполняются.

В режиме HA+LB сначала выполняется алгоритм HA. Если сформированы HA-рекомендации, LB в текущем проходе не запускается. При отсутствии HA-рекомендаций возможен переход к LB с учетом параметра Период запуска, с в настройках LB хост-агрегата.

HA может не сформировать рекомендации из-за ошибок фенсинга, отсутствия подходящих целевых гипервизоров или недостатка ресурсов. Поэтому отсутствие HA-рекомендаций само по себе не подтверждает исправность инфраструктуры.

Алгоритм HA

HA выявляет отказавшие или небезопасные гипервизоры, выполняет их изоляцию и подбирает целевые гипервизоры для эвакуации ВМ.

Обнаружение проблемных гипервизоров

HA последовательно проверяет состояние гипервизоров хост-агрегата. Для выбора дальнейшего действия учитываются state, status, admin_state, disabled_reason, heartbeat и состояние интерфейсов.

Проверки выполняются в следующем порядке:

  1. Если admin_state=Error и причина отключения не начинается с HA: SHUTOFF, KeyVRM пытается остановить оставшиеся работающие ВМ. В текущем проходе такой гипервизор не выбирается как новый источник эвакуации.

  2. Если гипервизор уже является источником активной HA-рекомендации, повторное обнаружение отказа пропускается.

  3. Если admin_state=Unstable, гипервизор выбирается для обработки HA.

  4. Если admin_state=Fenced и причина соответствует условиям повторной обработки, KeyVRM может повторно рассмотреть гипервизор. Учитываются причины с префиксами FENCED:, BOND_DISABLED: и HA:, кроме причин с окончанием HA: Retry.

  5. Если state=down, heartbeat отсутствует и admin_state=Active, гипервизор рассматривается как отказавший.

  6. Если state=up и обнаружена неисправность интерфейса из включенной категории, гипервизор может быть выбран для обработки HA, если он не находится в MaintenanceMode.

Агент hostmgmt-agent записывает heartbeat в Redis с указанием TTL (time to live — времени жизни записи). KeyVRM проверяет наличие записи, не сравнивая возраст временной метки. После истечения TTL запись становится недоступной для проверки. Отсутствие heartbeat учитывается вместе с другими признаками состояния гипервизора.

Для обнаружения неисправностей bond-интерфейсов используются метрики node_bonding_active и node_network_up. Неисправность фиксируется, если максимальное значение соответствующего временного ряда за запрошенный период равно нулю. Отдельное нулевое значение при наличии ненулевых значений в том же периоде не соответствует условию отказа. Проверка зависит от настроенных имен интерфейсов, наличия метрик и соответствия их меток гипервизору.

При включенной категории fibre_channel KeyVRM использует метрику node_fibrechannel_info из системы мониторинга и проверяет все доступные интерфейсы Fibre Channel гипервизора. Отдельно указывать имена интерфейсов не требуется. Неисправность хотя бы одного интерфейса может стать основанием для обработки гипервизора алгоритмом HA.

Фенсинг

Перед эвакуацией KeyVRM выполняет включенные механизмы фенсинга в следующем порядке:

  1. Ceph — добавляет IP гипервизора в blacklist Ceph.

  2. BMC — выполняет действие управления питанием через IPMI или Redfish. Действие задается параметром Режим power-fence (HA) в глобальной конфигурации KeyVRM.

  3. Nova — изменяет состояние вычислительного сервиса и при необходимости устанавливает forced_down.

Для конкретного гипервизора все включенные шаги фенсинга должны завершиться успешно. Ошибка одного из шагов исключает этот гипервизор из последующей эвакуации в текущем проходе. Другие гипервизоры, успешно прошедшие фенсинг, могут продолжить обработку.

Если не включен ни один механизм фенсинга, HA завершается ошибкой без рекомендаций по эвакуации.

Параметры фенсинга, включая power_check_timeout, описаны в разделе Глобальная конфигурация.

Подбор ВМ и целевых гипервизоров

После успешного фенсинга KeyVRM определяет ВМ, которые можно эвакуировать, и подбирает для них целевые гипервизоры.

Алгоритм выполняет следующие действия:

  1. Исключает ВМ, для которых действует запрет эвакуации no_evacuate=true. Имя ключа задается в глобальной конфигурации KeyVRM в поле Ключ отключения эвакуации (HA).

  2. Учитывает приоритет эвакуации из метаданных evacuate_order. Корректные целочисленные значения обрабатываются раньше отсутствующих или некорректных. Чем меньше значение, тем выше приоритет.

  3. При одинаковом приоритете чередует выбор ВМ с наибольшими требованиями CPU и RAM.

  4. Формирует список целевых гипервизоров из того же хост-агрегата.

  5. Исключает проблемные гипервизоры, источники текущей эвакуации и узлы, занятые как цели активных рекомендаций HA.

  6. Проверяет состояние оставшихся гипервизоров, применяет включенные фильтры размещения и оценивает доступные ресурсы. Среди допустимых целей предпочитает гипервизоры с большим свободным CPU, затем RAM.

  7. Создает рекомендации для допустимых размещений, уменьшает расчетные ресурсы выбранной цели и бюджет агрегата на требования ВМ и передает рекомендации Executor.

Для целевого гипервизора требуются состояния up, enabled и Active.

Если включен фильтр SERVER_GROUP_AFFINITY_FILTER, для рассматриваемых членов группы с политикой affinity KeyVRM подбирает общую допустимую цель и проверяет суммарные требования группы.

Фильтры KeyVRM используются для предварительного отбора подходящих целей. Они не воспроизводят полностью работу планировщика Nova, поэтому итоговая операция может быть отклонена OpenStack.

В глобальной конфигурации KeyVRM на вкладке Настройки HA (High Availability) проверьте поля Ключ отключения эвакуации (HA) и Режим power-fence (HA).

Глобальная конфигурация KeyVRM: настройки HA

Глобальная конфигурация KeyVRM: настройки HA

Ресурсы и резерв HA

При выборе целевого гипервизора HA оценивает доступную емкость CPU и RAM по данным Placement. Расчетная емкость размещения отличается от текущей загрузки ресурсов по данным мониторинга.

Резерв CPU и RAM задается долей от 0 до 1 и учитывается на уровне хост-агрегата и каждого целевого гипервизора.

При расчете общего ресурсного бюджета учитываются свободные ресурсы гипервизоров в состояниях up и enabled. Резерв рассчитывается для всех учитываемых гипервизоров, включая автоматически переведенные в MaintenanceMode с соответствующей причиной обслуживания. Гипервизоры, вручную переведенные в обслуживание, не учитываются.

При планировании эвакуации KeyVRM проверяет:

  • достаточность общего ресурсного бюджета хост-агрегата;

  • наличие допустимого целевого гипервизора;

  • достаточность CPU и RAM выбранного гипервизора с учетом резервирования.

CPU и RAM проверяются независимо. Для HA равенство доступной емкости и требований ВМ допускается.

Резерв не создает выделений ресурсов в Placement и не означает обязательного физически свободного остатка на каждом гипервизоре.

Настройка резервов описана в разделе Конфигурация хост-агрегата.

Завершение эвакуации

После планирования KeyVRM запускает исполнение рекомендаций. Они могут выполняться параллельно, поэтому порядок завершения эвакуаций не обязательно совпадает с порядком их создания.

При неудачной эвакуации HA может повторно рассмотреть исходный гипервизор и сформировать новую рекомендацию с другим целевым гипервизором. Это отличается от повторной попытки Executor в рамках уже существующей рекомендации.

Если после успешного фенсинга на исходном гипервизоре нет ВМ, KeyVRM пытается перевести его в режим обслуживания без создания рекомендаций по эвакуации.

После выполнения эвакуаций переход в режим обслуживания зависит от результатов рекомендаций и отсутствия оставшихся ВМ. При частично успешном результате KeyVRM сопоставляет ВМ из сохраненного снимка с UUID успешно эвакуированных ВМ. Это не является повторной проверкой актуального состава ВМ через Nova.

После успешного перевода гипервизора в режим обслуживания KeyVRM устанавливает admin_state=MaintenanceMode и переводит вычислительный сервис Nova в состояние disabled. Если используется режим delayed_poweron, последующее включение питания не разрешает автоматически новое размещение ВМ.

Перед возвращением гипервизора в эксплуатацию проверьте и устраните причину отказа. Проверьте фактическое размещение и состояние ВМ, доступность BMC, сети и хранилища, heartbeat, состояние nova-compute и флаг forced_down.

После успешных проверок восстановите допуск вычислительного сервиса к размещению ВМ по штатной процедуре KeyStack.

Предупреждение

HA-эвакуация не копирует данные локальных дисков с недоступного гипервизора. Наличие свободных ресурсов на целевом гипервизоре не гарантирует сохранность локальных данных ВМ.

Заранее определите сценарий восстановления с учетом типа диска ВМ: локальный корневой диск, ephemeral-диск и том Cinder имеют разные условия доступности.

Алгоритм LB

LB выявляет перегруженные гипервизоры и формирует рекомендации по живой миграции ВМ на менее загруженные узлы того же хост-агрегата.

LB планирует переносы при превышении заданного порога нагрузки и наличии допустимых вариантов размещения. Равномерное распределение нагрузки между гипервизорами не гарантируется.

Подготовка данных

LB использует метрики CPU, RAM и сети для гипервизоров и ВМ.

Для расчета нужны метрики CPU и RAM гипервизоров, а также показатели HugePages: количество доступных, используемых и свободных страниц.

Для миграции выбираются только ВМ с метриками CPU и RAM. ВМ без этих метрик учитываются при расчете использования RAM гипервизора.

Для HugePages используется показатель hpm_used. Сетевая нагрузка гипервизора определяется по TX-трафику настроенного интерфейса относительно его скорости. При отсутствии сетевой метрики ее вклад принимается равным нулю.

Из расчета исключаются гипервизоры, занятые как источники или цели активных рекомендаций HA и LB.

Если обнаружена перегрузка, но после исключений осталось менее двух гипервизоров с необходимыми данными, LB не формирует рекомендации, отправляет оповещение LB_InsufficientHypervisors и завершает событие с ошибкой.

Оценка нагрузки

Для оценки нагрузки LB использует показатель syn_score — взвешенную оценку нагрузки CPU, RAM и сети. Веса задаются в конфигурации хост-агрегата. syn_score не является физическим процентом использования отдельного ресурса.

Гипервизор считается перегруженным, если его syn_score строго больше значения параметра Порог перегрузки гипервизора, %. Равенство порогу не запускает разгрузку.

Подбор ВМ для миграции

LB выполняет следующие действия:

  1. Рассматривает перегруженные гипервизоры по убыванию syn_score.

  2. Ранжирует ВМ исходного гипервизора по оценке их CPU, RAM и доли TX-трафика ВМ в суммарном TX-трафике источника. Если суммарный TX-трафик источника равен 0, знаменатель для расчета доли заменяется на 1. Оценка ВМ не равна прогнозу снижения syn_score источника после миграции.

  3. Исключает ВМ без необходимых метрик и ВМ с запретом миграции no_migrate=true. Имя ключа задается в глобальной конфигурации KeyVRM в поле Ключ запрета миграции (LB).

  4. Исключает из рассмотрения ВМ, входящие в группы с политикой affinity.

  5. Подбирает целевые гипервизоры с учетом включенных фильтров, доступных ресурсов и прогнозируемой нагрузки после миграции.

  6. После выбора ВМ обновляет расчетные нагрузки и доступные ресурсы источника и цели.

  7. Формирует рекомендацию для автоматического исполнения или ручного подтверждения.

В глобальной конфигурации KeyVRM на вкладке Настройки LB (Load Balancer) задается имя ключа запрета миграции в поле Ключ запрета миграции (LB).

Глобальная конфигурация KeyVRM: настройки LB

Глобальная конфигурация KeyVRM: настройки LB

В начальный список целей входят гипервизоры, у которых syn_score не превышает значение параметра Порог перегрузки гипервизора, %. При включенном COMPUTE_FILTER дополнительно проверяются state=up, status=enabled, admin_state=Active и отсутствие ошибок в error_details. Если фильтр не включен, эти условия не гарантируются средствами данной проверки KeyVRM.

При подборе целевого гипервизора LB независимо проверяет доступные ресурсы CPU, RAM и DISK_GB. Для диска используется значение flavor.disk.

Расчетная емкость каждого ресурса должна строго превышать требования ВМ. В отличие от HA, равенство доступного ресурса и требования ВМ для LB не допускается.

Положительная расчетная емкость диска не гарантирует доступность данных локального диска ВМ. Живая миграция LB зависит от поддержки используемого типа диска инфраструктурой Nova/libvirt и сетью.

Прогнозируемый syn_score целевого гипервизора после переноса должен быть строго меньше значения параметра Предельная нагрузка таргет-гипервизора, %. При равенстве порогу миграция на эту цель не планируется.

Если параметр Предельная нагрузка таргет-гипервизора, % не задан или равен 0, используется значение параметра Порог перегрузки гипервизора, %.

В конфигурации хост-агрегата на вкладке Настройки LB (Load Balancer) проверьте значения полей Множитель CPU (LB), Множитель RAM (LB), Множитель сети (LB), Порог перегрузки гипервизора, %, Предельная нагрузка таргет-гипервизора, % и Период запуска, с.

Настройки LB хост-агрегата

Настройки LB хост-агрегата

После выбора очередной ВМ алгоритм корректирует расчетную модель источника и цели. Последующие решения учитывают уже запланированные переносы, даже если фактические операции Nova еще не выполнены. Освободившийся источник не добавляется автоматически в список целей текущего прохода.

Ограничения балансировки

LB может не сформировать рекомендации даже при наличии перегруженных гипервизоров. Возможные причины:

  • отсутствие подходящих целевых гипервизоров;

  • недостаточность ресурсов CPU, RAM или диска;

  • ограничения фильтров размещения;

  • запрет миграции ВМ;

  • принадлежность ВМ к группе с политикой affinity;

  • отсутствие необходимых метрик;

  • превышение прогнозируемой нагрузки целевого гипервизора.

Если в одном хост-агрегате одновременно размещены обычные ВМ и ВМ с HugePages, инициализация LB завершается ошибкой.

Для ВМ с HugePages свободная память цели рассчитывается по hpm_free: количество свободных страниц умножается на размер страницы и делится на 1024² для перевода результата в МБ. Полученная величина сравнивается с требованием flavor.ram.

Создание рекомендаций не гарантирует полной разгрузки исходного гипервизора. После их исполнения проверьте фактические метрики и размещение ВМ.

Выполнение рекомендаций

HA-рекомендации передаются Executor для автоматического исполнения. Для LB способ запуска зависит от значения параметра Автозапуск рекомендаций (LB) в конфигурации хост-агрегата.

Если автоматический запуск LB выключен, рекомендация ожидает ручного подтверждения. Такое ожидание не резервирует ресурсы и гипервизоры.

После подтверждения Executor выполняет ранее сформированный план без повторного подбора целевого гипервизора. Поэтому перед подтверждением проверьте актуальное состояние исходного и целевого гипервизоров, ВМ и необходимых ресурсов.

При одновременной работе HA и LB KeyVRM учитывает занятые гипервизоры по событиям в статусе executing и рекомендациям в статусах created, started, preparing и running. Рекомендации в статусах manual_action и retry в эту выборку не входят.

LB исключает источники и цели активных HA- и LB-рекомендаций. При обнаружении отказа HA пропускает источники активных HA-рекомендаций, но занятость гипервизора в LB не препятствует обнаружению отказа. При подборе новой цели HA исключает цели активных рекомендаций HA.

При отказе гипервизора, являющегося целью LB, проверьте фактическое размещение ВМ и состояние выполняемых миграций. HA не обеспечивает безусловную отмену всех LB-рекомендаций, в которых этот гипервизор выбран целью.

Учет занятых гипервизоров не обеспечивает полной блокировки параллельных действий OpenStack и не гарантирует взаимное исключение операций в пересекающихся хост-агрегатах.

После исполнения рекомендаций проверьте их статусы, историю операций и фактическое состояние инфраструктуры. Успешное выполнение миграции или эвакуации не гарантирует работоспособность гостевой ОС и приложения.

Порядок проверки событий и устранения неисправностей приведен в разделе Диагностика.