Обновление LCM ks2024.2 → ks2024.3

Шаги для обновления с версии ks2024.2 на ks2024.3 будут отличаться от предыдущей инструкции Обновление LCM ks2024.1 → ks2024.2. В первую очередь это касается GitLab, поскольку обновление для него потребуется делать в два этапа. Также обратите внимание на этап работы с Nexus: при переходе на более новую версию меняется база данных с настройками.

Загрузите и подготовьте пакет обновления:

SberLinuxUbuntu

1. Зайдите на LCM-узел по SSH.

2. Загрузите архив upgrade-ks2024.3-sberlinux.tgz в папку /installer/update.

3. Убедитесь, что в этой папке нет других файлов или папок, при необходимости удалите их.

4. Убедитесь, что в точке монтирования / имеется более 200 Гб свободного пространства. Это необходимо для успешного выполнения обновления.

5. Для последующего обновления репозитория в GitLab, выполните команду:

   # git config --global --add safe.directory '*'
   

6. Замените в файле /installer/config/settings строку export RELEASE=ks2024.2-sberlinux на export RELEASE=ks2024.3-sberlinux.

7. Добавьте строки в файл /installer/config/settings:

   export NEXUS_FQDN=nexus.$DOMAIN
   export CURL_CA_BUNDLE=/installer/data/ca/cert/chain-ca.pem
   

Обновите параметры в Nexus:

SberLinuxUbuntu

1. Зайдите в веб-интерфейс Nexus по адресу https://nexus.cloud.itkey.com.

2. Удалите существующий репозиторий sberlinux.

3. Создайте репозитории docker-sberlinux и sberlinux с типом hosted и форматом yum.

4. Укажите параметры:

   • Repodata Depth: 0

   • Layout Policy: Strict

   • Deployment Policy: Disable redeploy

Восстановите пароли доступа NetBox перед проведением обновления:

1. Зайдите на LCM-узел по SSH.

2. Извлеките из архива инсталлятора файлы installer/netbox-docker/env/*.env.

3. Переместите эти файлы в /installer/data/netbox/env/ на LCM-узле, заменив существующие.

Запустите пайплайн обновления:

1. Перейдите в веб-интерфейс GitLab.

2. Найдите репозиторий project_k / deployments / bifrost и удалите его. Для этого перейдите в Settings > General > Advanced и нажмите Delete project.

3. Перейдите в репозиторий project_k / services / upgrade.

4. Перейдите в раздел Settings > CI/CD > General pipelines.

5. Установите значение Timeout — 5h.

6. Запустите пайплайн Run pipeline по умолчанию. Дождитесь его завершения.

Обновите файлы Docker и перезапустите сервисы:

1. Перейдите на LCM-узел и выполните команды, приведенные ниже.

   # cd /installer/config
   # source settings
   # sed -i "/netbox.dump/d" $CFG_HOME/netbox-compose.yml
   # docker compose -f $CFG_HOME/netbox-compose.yml up -d
   # docker compose -f $CFG_HOME/compose.yaml up -d nginx
   # docker compose -f $CFG_HOME/compose.yaml up -d vault
   # docker compose -f $CFG_HOME/compose.yaml exec vault /bin/sh -c "vault operator unseal"
   # docker compose -f $CFG_HOME/compose.yaml exec vault /bin/sh -c "vault login"
   

   SberLinuxUbuntu

   # docker compose -f $CFG_HOME/compose.yaml exec vault /bin/sh -c "cat /vault/config/chain-ca.pem >> /etc/pki/ca-trust/source/anchors/ca.crt; update-ca-trust"
   

   # docker restart vault
   # docker compose -f $CFG_HOME/compose.yaml exec vault /bin/sh -c "vault operator unseal"
   # docker compose -f $CFG_HOME/compose.yaml exec vault /bin/sh -c "vault login"
   
   # docker compose -f $CFG_HOME/compose.yaml exec vault /bin/sh -c "vault write auth/jwt/role/itkey-deployments - <<EOF
   {
       \"role_type\": \"jwt\",
       \"policies\": [\"secret_v2/deployments\"],
       \"token_explicit_max_ttl\": 3600,
       \"user_claim\": \"user_email\",
       \"bound_audiences\": \"http://vault:8200\",
       \"bound_claims\": {
       \"namespace_id\": [\"3\", \"4\"]
       }
   }
   EOF
   "
   

Обновление GitLab необходимо делать в два этапа. Сначала обновите GitLab до версии 16.11.10:

1. Зайдите на LCM-узел по SSH.

2. Выполните команды:

   # sed -i "s|\$NEXUS_NAME.\$DOMAIN/project_k/lcm/gitlab:\$RELEASE|\$NEXUS_NAME.\$DOMAIN/project_k/lcm/gitlab:\$RELEASE-16.11.10-ce.0|" compose.yaml
   # docker compose -f $CFG_HOME/compose.yaml up -d gitlab
   

3. Дождитесь запуска или завершения работы контейнера. Проверить состояние запуска контейнера можно с помощью команды:

   # docker logs gitlab -f -n 100
   

   Примечание

   Если в процессе запуска контейнер завершил свою работу, то перейдите к следующему пункту.

Обновите GitLab до версии ks2024.3:

1. Зайдите на LCM-узел по SSH.

2. Выполните команды:

   # sed -i "s|\$NEXUS_NAME.\$DOMAIN/project_k/lcm/gitlab:\$RELEASE-16.11.10-ce.0|\$NEXUS_NAME.\$DOMAIN/project_k/lcm/gitlab:\$RELEASE|" compose.yaml
   # docker compose -f $CFG_HOME/compose.yaml up -d gitlab gitlab-runner
   

3. Контейнер с GitLab поднимается очень долго. Проверить состояние запуска контейнера можно с помощью команды:

   # docker logs gitlab -f -n 100
   

4. Дождитесь когда откроется страница https://ks-lcm.cloud.itkey.com/admin/background_migrations.

5. Дождитесь завершения всех задач на этой странице.

Обновление Nexus с ks2024.х на ks2024.3 и позднее невозможно сделать напрямую, поскольку меняется база данных с настройками: https://help.sonatype.com/en/migrating-to-a-new-database.html .

Выполните резервное копирование базы данных Nexus штатными средствами в папку внутри контейнера /nexus-data/backup-db:

1. Зайдите на LCM-узел по SSH.

2. Запустите контейнер Nexus:

   # sed -i "s|\$NEXUS_NAME.\$DOMAIN/project_k/lcm/nexus3:\$RELEASE|\$NEXUS_NAME.\$DOMAIN/project_k/lcm/nexus3:\$RELEASE-3.70.3|" compose.yaml
   # docker compose -f $CFG_HOME/compose.yaml up -d nexus
   

3. Зайдите в веб-интерфейс Nexus по адресу https://nexus.cloud.itkey.com.

4. Перейдите в раздел System > Tasks.

5. Запустите готовую задачу Admin - Export databases for backup.

   

   Резервное копирование базы данных Nexus

6. Дождитесь выполнения задачи. Статус задачи должен смениться с Running на Waiting, а Last Result на OK.

Выполните конвертацию базы данных Nexus в новый формат:

1. Зайдите на LCM-узел по SSH.

2. Выполните команды:

   # docker compose -f $CFG_HOME/compose.yaml exec nexus /bin/sh -c "cp /nexus-db-migrator-3.70.3-01.jar /nexus-data/backup-db/nexus-db-migrator-3.70.3-01.jar"
   # docker stop nexus
   
   # docker run -it --rm --net host -v /installer/data/nexus/:/nexus-data $NEXUS_NAME.$DOMAIN/project_k/lcm/nexus3:$RELEASE-3.70.3 /bin/bash
   bash-4.4$ cd /nexus-data/backup-db/
   bash-4.4$ java -Xmx16G -Xms16G -XX:+UseG1GC -XX:MaxDirectMemorySize=28672M -jar nexus-db-migrator-*.jar --migration_type=h2 -y
   bash-4.4$ cp nexus.mv.db /nexus-data/db/
   bash-4.4$ echo "nexus.datastore.enabled = true" >> /nexus-data/etc/nexus.properties
   bash-4.4$ exit
   
   # docker start nexus
   
   # sed -i "s|\$NEXUS_NAME.\$DOMAIN/project_k/lcm/nexus3:\$RELEASE-3.70.3|\$NEXUS_NAME.\$DOMAIN/project_k/lcm/nexus3:\$RELEASE|" compose.yaml
   # docker compose -f $CFG_HOME/compose.yaml up -d nexus
   

Обновите переменные в GitLab:

1. Перейдите в веб-интерфейс развернутого GitLab.

2. Перейдите в меню Groups и откройте группу project_k.

3. Перейдите в раздел Settings > CI/CD > Variables и добавьте новые переменные:

   • NEXUS_USER: admin

   • NEXUS_FQDN: nexus.$DOMAIN

4. (Опционально) В группах deployments и services перейдите в раздел Settings > CI/CD > Variables и переместите все переменные в группу project_k.

Выполните команды на узле LCM:

1. Зайдите на LCM-узел по SSH и выполните команды:

   # cd /installer/config
   # source settings
   # sed -i "s|DB_PASSWORD=.*|DB_PASSWORD=netbox_db_password|" $NETBOX_HOME/env/netbox.env
   # sed -i "s|REDIS_CACHE_PASSWORD=.*|REDIS_CACHE_PASSWORD=netbox_redis_cache_password|" $NETBOX_HOME/env/netbox.env
   # sed -i "s|REDIS_PASSWORD=.*|REDIS_PASSWORD=netbox_redis_password|" $NETBOX_HOME/env/netbox.env
   # sed -i "s|SUPERUSER_PASSWORD=.*|SUPERUSER_PASSWORD=netbox_admin_password|" $NETBOX_HOME/env/netbox.env
   # sed -i "s|AUTH_LDAP_BIND_PASSWORD: .*|AUTH_LDAP_BIND_PASSWORD: \"LDAP-BIND-PASSWORD\"|" $NETBOX_HOME/env/netbox.env
   # sed -i "s|POSTGRES_PASSWORD=.*|POSTGRES_PASSWORD=netbox_db_password|" $NETBOX_HOME/env/postgres.env
   # sed -i "s|REDIS_PASSWORD=.*|REDIS_PASSWORD=netbox_redis_password|" $NETBOX_HOME/env/redis.env
   # sed -i "s|REDIS_PASSWORD=.*|REDIS_PASSWORD=netbox_redis_cache_password|" $NETBOX_HOME/env/redis-cache.env