Обновление LCM ks2025.1.1 → ks2026.1

Важно

Все команды на LCM-узле выполняются под пользователем root.

Убедитесь, что в точке монтирования / имеется более 200 Гб свободного пространства. Это необходимо для успешного выполнения обновления.

Убедитесь, в наличии архива инсталлятора installer-ks2025.1.1-{sberlinux|ubuntu}-offline.tgz. Данный архив необходим для восстановления шаблонов переменных окружения для NetBox installer/netbox-docker/env/*.env.

Загрузите, подготовьте пакет обновления и запустите пайплайн обновления:

Загрузка пакета обновления вручнуюАвтоматическая загрузка пакета обновления

1. Зайдите на LCM-узел по SSH.

2. Загрузите архив upgrade-ks2026.1-{sberlinux|ubuntu}.tgz в папку /installer/update.

3. Убедитесь, что в этой папке нет других файлов или папок, при необходимости удалите их.

4. Замените в файле /installer/config/settings строку export RELEASE=ks2025.1.1-{sberlinux|ubuntu} на export RELEASE=ks2026.1-{sberlinux|ubuntu}.

5. Откройте веб-интерфейс развёрнутого GitLab.

6. Перейдите в репозиторий project_k / deployments / bifrost и удалите его. Для этого перейдите в Project settings > Advanced и нажмите Delete project.

7. Перейдите в репозиторий project_k / deployments / region1 и удалите его. Для этого перейдите в Project settings > Advanced и нажмите Delete project.

8. Перейдите в репозиторий project_k / services / upgrade.

9. Перейдите в раздел Settings > CI/CD > General pipelines.

10. Установите значение Timeout — 5h.

11. Создайте новый пайплайн: Build > Pipelines > New Pipeline.

12. Запустите пайплайн New pipeline.

13. Дождитесь завершения выполнения операции.

Если пайплайн завершается с ошибкой, выполните следующие действия:

1. Повторно загрузите архив upgrade-ks2026.1-{sberlinux|ubuntu}.tgz в папку /installer/update.

2. При повторном запуске необходимо убедится, что значение переменной KEYSTACK_RELEASE равно ks2025.1.1.

3. Если повторный запуск вызывает ошибку на этапе setup:

   Turn off this advice by setting config variable advice.detachedHead to false
   $ source ci/keystack/scripts/keystack.sh
   $ vault_read job_key value > job_key
   Cleaning up project directory and file based variables
   00:00
   ERROR: Job failed: exit code 1
   

   Откройте и измените файл /installer/data/gitlab-runner/config.toml:

   1. В секции [runners.docker] измените значение параметра network_mode с installer на host и в параметре helper_image замените значение на ks2026.1.

   2. В секции [[runners]] добавьте параметр pre_build_script = "  cp /etc/gitlab-runner/certs/ca.crt /usr/local/share/ca-certificates/ca.crt || true\n  update-ca-certificates --fresh > /dev/null || true\n  ".

   3. Перезапустите gitlab-runner, выполнив команду:

      # docker restart gitlab-runner
      

4. Откройте веб-интерфейс развернутого GitLab.

5. Перейдите в репозиторий project_k / services / upgrade.

6. Создайте новый пайплайн: Build > Pipelines > New Pipeline.

7. Запустите пайплайн New pipeline.

8. Запустите задачу update.

9. Дождитесь завершения выполнения операции.

В Vault появится новый пароль gitlab_ks_admin_password по пути secret_v2 / deployments / <LCM FQDN> / secrets / accounts. В случае использования клиентского Vault перенесите новый пароль gitlab_ks_admin_password по тому же пути.

Восстановите пароли доступа NetBox перед проведением обновления:

1. Зайдите на LCM-узел по SSH.

2. Перейдите в директорию с архивом инсталлятора.

3. Извлеките из архива инсталлятора installer-ks2025.1.1-{sberlinux|ubuntu}-offline.tgz файлы installer/netbox-docker/env/*.env:

   # tar -xzvf installer-ks2025.1.1-{sberlinux|ubuntu}-offline.tgz installer/netbox-docker/env/*.env
   

4. Если пароли для сервисов были изменены, то укажите актуальные значения в этих файлах.

5. Переместите эти файлы в /installer/data/netbox/env/ на LCM-узле, заменив существующие.

Обновите файлы Docker и перезапустите сервисы:

1. Зайдите на LCM-узел по SSH и выполните команды, приведенные ниже.

   # cd /installer/config
   # source settings
   
   # docker compose -f $CFG_HOME/compose.yaml up -d nexus nginx vault
   

   UbuntuSberLinux

   # docker compose -f $CFG_HOME/compose.yaml exec vault /bin/sh -c "cat /vault/config/chain-ca.pem >> /etc/ssl/certs/ca-certificates.crt"
   

   # docker restart vault
   # docker compose -f $CFG_HOME/compose.yaml exec vault /bin/sh -c "vault operator unseal"
   # docker compose -f $CFG_HOME/compose.yaml exec vault /bin/sh -c "vault login"
   

2. Зайдите в веб-интерфейс Nexus и примите лицензионное соглашение.

Обновите NetBox. Для этого зайдите на LCM-узел по SSH и выполните команды, приведенные ниже.

# docker exec netbox-postgres pg_dumpall -U netbox > dump.sql
# docker compose -f $CFG_HOME/netbox-compose.yml down
# mv $NETBOX_HOME/postgres/ $NETBOX_HOME/postgres-old/
# mkdir /installer/data/netbox/postgres/
# chown -R 994:994 $NETBOX_HOME/{postgres,redis,redis-cache}
# docker compose -f $CFG_HOME/netbox-compose.yml up -d postgres
# cp dump.sql $NETBOX_HOME/postgres/
# chown -R 994:994 $NETBOX_HOME/postgres/dump.sql
# docker exec -ti netbox-postgres bash
# cd /var/lib/postgresql/data/
# psql -U netbox < dump.sql
# exit
# docker compose -f $CFG_HOME/netbox-compose.yml up -d
# rm -rf $NETBOX_HOME/postgres-old/

Обновление GitLab необходимо делать в несколько этапов. Сначала обновите GitLab до версии 17.8.7-ce.0:

1. Зайдите на LCM-узел по SSH.

2. Выполните команды:

   # source /installer/config/settings
   # sed -i "s|\$NEXUS_FQDN/project_k/lcm/gitlab:\$RELEASE|\$NEXUS_FQDN/project_k/lcm/gitlab:\$RELEASE-17.8.7-ce.0|" $CFG_HOME/compose.yaml
   

3. Выполните команду:

   # docker compose -f $CFG_HOME/compose.yaml up -d gitlab
   

4. В случае ошибок доступа к файлам выполните команду:

   # docker exec -it gitlab update-permissions
   

5. Дождитесь открытия страницы https://<LCM FQDN>/admin/background_migrations.

6. Дождитесь завершения всех задач на этой странице. Если задач нет, можете приступать к следующему шагу.

Обновите GitLab до версии 17.11.7-ce.0:

1. Зайдите на LCM-узел по SSH.

2. Выполните команды:

   # source /installer/config/settings
   # sed -i "s|\$NEXUS_FQDN/project_k/lcm/gitlab:\$RELEASE-17.8.7-ce.0|\$NEXUS_FQDN/project_k/lcm/gitlab:\$RELEASE-17.11.7-ce.0|" $CFG_HOME/compose.yaml
   # docker compose -f $CFG_HOME/compose.yaml up -d gitlab
   

3. Дождитесь открытия страницы https://<LCM FQDN>/admin/background_migrations.

4. Дождитесь завершения всех задач на этой странице. Если задач нет, можете приступать к следующему шагу.

Обновите GitLab до версии ks2026.1:

1. Зайдите на LCM-узел по SSH.

2. Выполните команду:

   # sed -i "s|\$NEXUS_FQDN/project_k/lcm/gitlab:\$RELEASE-17.11.7-ce.0|\$NEXUS_FQDN/project_k/lcm/gitlab:\$RELEASE|" $CFG_HOME/compose.yaml
   

3. Откройте и измените файл /installer/data/gitlab-runner/config.toml.

   1. В секции [runners.docker] измените значение параметра network_mode с installer на host и в параметре helper_image замените значение на ks2026.1.

   2. В секции [[runners]] добавьте параметр pre_build_script = "  cp /etc/gitlab-runner/certs/ca.crt /usr/local/share/ca-certificates/ca.crt || true\n  update-ca-certificates --fresh > /dev/null || true\n  ".

   3. Перезапустите gitlab-runner, выполнив команду:

      # docker restart gitlab-runner
      

4. Выполните команду:

   # docker compose -f $CFG_HOME/compose.yaml up -d gitlab gitlab-runner
   

5. В случае ошибок доступа к файлам выполните команду:

   # docker exec -it gitlab update-permissions
   

6. Контейнер с GitLab поднимается очень долго. Проверить состояние запуска контейнера можно с помощью команды:

   # docker logs gitlab -f -n 100
   

7. Дождитесь открытия страницы https://<LCM FQDN>/admin/background_migrations.

8. Дождитесь завершения всех задач на этой странице. Если задач нет, можете приступать к следующему шагу.

9. (Опционально) Удалите докер-образ LCM старого релиза, выполнив команду:

   # docker image prune -a
   

В случае если подключен внутренний Vault, дополнительно понадобится изменить значение параметра vault_addr. Для этого:

1. Зайдите в веб-интерфейс GitLab.

2. Перейдите в группу project_k.

3. Перейдите в раздел Settings > CI/CD > Variables.

4. Измените значения параметра vault_addr на https://vault.<DOMAIN>.

В новой версии GitLab по умолчанию доступ с использованием токена между проектами запрещен. Обновите настройку доступа между проектами GitLab, выполнив перечисленные действия для каждого региона:

1. Зайдите в веб-интерфейс GitLab.

2. Для каждого репозитория (project_k/etc) в разделе Settings > CI/CD > Job token permissions нажмите кнопку Add > Group or Project и добавьте группу project_k.

Выполните команды на узле LCM:

1. Зайдите на LCM-узел по SSH и выполните команды:

   # cd /installer/config
   # source settings
   # sed -i "s|DB_PASSWORD=.*|DB_PASSWORD=netbox_db_password|" $NETBOX_HOME/env/netbox.env
   # sed -i "s|REDIS_CACHE_PASSWORD=.*|REDIS_CACHE_PASSWORD=netbox_redis_cache_password|" $NETBOX_HOME/env/netbox.env
   # sed -i "s|REDIS_PASSWORD=.*|REDIS_PASSWORD=netbox_redis_password|" $NETBOX_HOME/env/netbox.env
   # sed -i "s|SUPERUSER_PASSWORD=.*|SUPERUSER_PASSWORD=netbox_admin_password|" $NETBOX_HOME/env/netbox.env
   # sed -i "s|AUTH_LDAP_BIND_PASSWORD: .*|AUTH_LDAP_BIND_PASSWORD: \"LDAP-BIND-PASSWORD\"|" $NETBOX_HOME/env/netbox.env
   # sed -i "s|POSTGRES_PASSWORD=.*|POSTGRES_PASSWORD=netbox_db_password|" $NETBOX_HOME/env/postgres.env
   # sed -i "s|REDIS_PASSWORD=.*|REDIS_PASSWORD=netbox_redis_password|" $NETBOX_HOME/env/redis.env
   # sed -i "s|REDIS_PASSWORD=.*|REDIS_PASSWORD=netbox_redis_cache_password|" $NETBOX_HOME/env/redis-cache.env