Установка и настройка сервисов мониторинга

Включение сервисов мониторинга

По умолчанию компоненты мониторинга (OpenSearch, VictoriaMetrics, Alertmanager, Grafana) включены для каждого региона. Если в вашем регионе это не так или требуется отдельно настроить конкретный компонент, выполните следующие шаги:

  1. Откройте веб-интерфейс развернутого GitLab.

  2. Откройте проект project_k / deployments / <имя региона>.

  3. Откройте файл globals.d/REGION.yml и установите значения yes для необходимых компонентов:

    enable_grafana: "yes"
enable_victoriametrics: "yes"
enable_prometheus_alertmanager: "yes"
enable_opensearch: "yes"
enable_cadf_audit: "yes"

  4. Создайте новый пайплайн: Build > Pipelines > New Pipeline.

  5. Оставьте ветку по умолчанию, соответствующую установленному релизу.

  6. В открывшемся окне добавьте параметры:

    • KOLLA_ANSIBLE_DEPLOY_ACTION — deploy;

    • KOLLA_ARGS — укажите параметр -t с тегом нужного компонента. Можно перечислить несколько компонентов через запятую, например, -t grafana,victoriametrics,opensearch.

    Примечание

    CADF является настройкой сервисов, поэтому для его включения необходимо запускать развёртывание без тегов.

  7. Запустите пайплайн: New pipeline.

  8. Дождитесь завершения выполнения операции.

При включённой ролевой модели доступ к OpenSearch и Grafana предоставляется через Портал администратора без повторной аутентификации. Пользователь с ролью admin получает административный доступ к OpenSearch и права Grafana Editor. Пользователи с ролями security_auditor и reader получают доступ только на чтение. Пользователи с ролями member, operator_vm, app_operator и os_operator не получают доступ к OpenSearch и Grafana.

Использование сервиса хранения метрик VictoriaMetrics

По умолчанию в качестве сервиса хранения метрик используется VictoriaMetrics. Подробнее о VictoriaMetrics см. в разделе VictoriaMetrics.

Если VictoriaMetrics не установлен, его можно развернуть самостоятельно. Шаги развёртывания сервиса приведены ниже.

Вместо VictoriaMetrics или дополнительно к нему вы также можете использовать сервис Prometheus. При одновременном включении Prometheus server и VictoriaMetrics оба сервиса будут работать независимо. Подробнее об установке Prometheus см. в разделе Prometheus server.

В случае если у вас уже используется Prometheus и при этом ещё не был установлен VictoriaMetrics, вы можете развернуть VictoriaMetrics и сразу произвести в него миграцию данных из Prometheus. Инструкция по миграции приведена в разделе Миграция данных из Prometheus в VictoriaMetrics.

Для развёртывания VictoriaMetrics в качестве сервиса хранения метрик выполните следующие действия:

  1. Откройте веб-интерфейс развёрнутого GitLab.

  2. Откройте проект project_k / deployments / <имя региона>.

  3. В конфигурационный файл региона (по умолчанию это globals.d/REGION.yml) добавьте переменную enable_victoriametrics со значением yes.

    enable_victoriametrics: "yes"

  4. При необходимости вы можете настроить дополнительные опции запуска VictoriaMetrics: период хранения и/или максимальный размер данных. Для этого добавьте в конфигурационный файл globals.d/REGION.yml переменную victoriametrics_vmstorage_cmdline_extras со следующими опциональными параметрами:

    • -retentionPeriod — длительность хранения данных. По умолчанию считается в месяцах и имеет значение 1 (1 месяц). Для других единиц времени необходимо использовать соответствующие суффиксы;

    • -storage.minFreeDiskSpaceBytes — минимальное свободное место, которое должно оставаться на диске хранилища. По умолчанию считается в байтах и имеет значение 10000000 (10 МБ). Для других единиц измерения необходимо использовать соответствующие суффиксы.

    Пример конфигурации с ограничением длительности хранения в 15 дней и размера данных в 5000000 байт:

    victoriametrics_vmstorage_cmdline_extras: "-retentionPeriod 15d -storage.minFreeDiskSpaceBytes 5000000"

    Дополнительная информация о настройке периода и глубины хранения данных, а также о поддерживаемых суффиксах приведена в разделе Настройка периода и глубины хранения метрик.

  5. Если у вас имеется уже развёрнутый и работающий Prometheus server, при необходимости вы можете отключить его одновременно с развёртыванием VictoriaMetrics. Для этого измените переменную enable_prometheus_server в globals.d/REGION.yml на значение no:

    enable_prometheus_server: "no"

    Предупреждение

    После отключения Prometheus server сохранённые в нём данные будет невозможно перенести в VictoriaMetrics — миграция требует активного и работающего Prometheus server. Если необходимо сохранить накопленные метрики, выполните миграцию данных в VictoriaMetrics до отключения Prometheus server (см. Миграция данных из Prometheus в VictoriaMetrics).

  6. Создайте новый пайплайн: Build > Pipelines > New Pipeline.

  7. Оставьте ветку по умолчанию, соответствующую установленному релизу.

  8. В открывшемся окне добавьте параметры:

    • KOLLA_ANSIBLE_DEPLOY_ACTION — deploy;

    • KOLLA_ARGS — -t victoriametrics. Если вместе с развёртыванием VictoriaMetrics отключается Prometheus, в качестве значения в этом поле добавьте -t victoriametrics,prometheus.

  9. Запустите пайплайн: New pipeline.

  10. Дождитесь завершения выполнения операции.

  11. После завершения пайплайна будет развёрнута и предварительно настроена VictoriaMetrics. Набор экспортёров и Alertmanager по умолчанию уже включён для каждого региона (переменная enable_prometheus) и в дополнительном включении не нуждается. Если в вашем регионе эта переменная была отключена, добавьте enable_prometheus: "yes" в globals.d/REGION.yml и запустите пайплайн с тегом prometheus.

Создание шаблона индекса в OpenSearch

Чтобы создать шаблон индекса в OpenSearch:

  1. Откройте веб-интерфейс развернутого Портала администратора.

  2. Перейдите в раздел Журналы событий > Анализ логов.

  3. Если включена ролевая модель, убедитесь, что OpenSearch открылся без повторной аутентификации.

  4. Если ролевая модель выключена или OpenSearch настроен без интеграции с Порталом администратора, пройдите авторизацию в OpenSearch.

  5. При первом входе вы будете перенаправлены на страницу создания шаблонов.

  6. Нажмите кнопку Create index pattern.

  7. В открывшемся окне в поле Index pattern name укажите значение flog-*.

  8. Нажмите кнопку Next Step.

  9. В поле Time field выберите вариант @timestamp.

  10. Нажмите кнопку Create index pattern.