[done] brencher: delegate build/deploy to GitHub Action per stack #34

Closed
opened 2026-08-31 19:40:15 +02:00 by hermes · 1 comment
Contributor

Blocking

Этот тикет теперь блокирует раскладку стека connectivity_tester (mode: global)
на все ноды кластера.

Корневая причина, почему мы здесь

Сейчас brencher-new собирает image локально через docker_compose_build на той ноде,
где запущен brencher (через docker_socket_proxy). Это даёт один linux/<arch> build
(архитектура ноды brencher'а). В кластере 4 ноды с разной архитектурой (x86_64 —
odroid/rudolf-T/xu4, плюс rudolf-T); на worker-нодах нужный image
отсутствует, swarm получает rejected task:

status.Err = "No such image: registry.rudolf.keenetic.link/connectivity_tester:auto-1e9d3348"

Также: legacy registry.rudolf.keenetic.link уже не идёт в ногу с фичами
container registry.

Путь

  1. Переехать на Gitea Container Registry (gitea.rudolf.keenetic.link/<owner>/<repo>).
  2. Реализовать multi-arch build (linux/amd64,linux/arm64) через GitHub Actions workflow
    по push-у в feat/*-ветки ansible-репо (hermes/ansible@feat/connectivity-tester и др.).
  3. brencher-new должен не собирать image сам, а ждать тега из registry и дёргать
    docker stack deploy через docker_socket_proxy (только pull + service update).
  4. brencher.toolchain: вместо image: <local> подтягивать тег из container registry.

Что сделано

  • В ветке fix/connectivity-tester-extra-endpoints ansible-репо (~PR admin/ansible#39)
    развёрнуты compose и Dockerfile с правильным dockerfile: Dockerfile (single-level).
  • PR admin/brencher#65 унифицирует конфиг connectivity_tester.py со всеми стеками
    (включён GitUnmerge(clone, dockerSwarmCheck)), чтобы autodeploy сработал.
  • Issue admin/brencher#68 отслеживает DNS для connectivity-tester.keenetic.link (отдельно).

Что нужно сделать прямо сейчас

  1. Реализовать .github/workflows/build.yml в hermes/ansible (или в каждом стеке
    отдельно), который по push-у в feat/*/master билдит linux/amd64,linux/arm64 и
    пушит gitea.rudolf.keenetic.link/hermes/<stack>:auto-<sha>.
  2. Сменить docker_repo_url в brencher-конфигах на gitea.rudolf.keenetic.link,
    добавить publish=True (или вообще убрать локальный build из brencher).
  3. Настроить node labels для swarm (os=linux, arch=amd64/arm64), чтобы
    глобальный-mode service планировался корректно.

Acceptance

  • Push в feat/*-ветку в hermes/ansible → через 2-3 мин в Gitea Registry
    появляется gitea.rudolf.keenetic.link/<owner>/<stack>:auto-<sha>
    с манифестами под обе архитектуры (manifest list v2).
  • brencher подхватывает этот тег, делает docker stack deploy, и
    swarm успешно запускает контейнер на всех нодах кластера.
  • В логах swarm исчезают rejected/No such image для стека connectivity_tester.

Связь

  • #33 — reusable brencher-action (PR): пересекается, можно переиспользовать
  • #35 — feat(torrserv_proxy): delegate docker build to GH Action (PR): пилот той же идеи
  • #24 — GitHub Action: auto-deploy approved PRs (issue, задублирован, можно закрыть)
  • #32 — Prototype: auto-deploy with batch window (issue, можно закрыть если GH Actions решает)
  • parent #34 (этот тикет — координатор)
  • depends on Gitea Container Registry enable (issue gitea/admin)
## Blocking **Этот тикет теперь блокирует** раскладку стека `connectivity_tester` (`mode: global`) на все ноды кластера. ## Корневая причина, почему мы здесь Сейчас brencher-new собирает image локально через `docker_compose_build` на той ноде, где запущен brencher (через `docker_socket_proxy`). Это даёт один `linux/<arch>` build (архитектура ноды brencher'а). В кластере 4 ноды с разной архитектурой (`x86_64` — `odroid`/`rudolf-T`/`xu4`, плюс `rudolf-T`); на worker-нодах нужный image отсутствует, swarm получает `rejected` task: ``` status.Err = "No such image: registry.rudolf.keenetic.link/connectivity_tester:auto-1e9d3348" ``` Также: legacy `registry.rudolf.keenetic.link` уже не идёт в ногу с фичами container registry. ## Путь 1. Переехать на **Gitea Container Registry** (`gitea.rudolf.keenetic.link/<owner>/<repo>`). 2. Реализовать multi-arch build (`linux/amd64,linux/arm64`) через **GitHub Actions workflow** по push-у в `feat/*`-ветки ansible-репо (`hermes/ansible@feat/connectivity-tester` и др.). 3. brencher-new должен не собирать image сам, а ждать тега из registry и дёргать `docker stack deploy` через `docker_socket_proxy` (только `pull` + `service update`). 4. brencher.toolchain: вместо `image: <local>` подтягивать тег из container registry. ## Что сделано - В ветке `fix/connectivity-tester-extra-endpoints` ansible-репо (~PR `admin/ansible#39`) развёрнуты compose и Dockerfile с правильным `dockerfile: Dockerfile` (single-level). - PR `admin/brencher#65` унифицирует конфиг `connectivity_tester.py` со всеми стеками (включён `GitUnmerge(clone, dockerSwarmCheck)`), чтобы autodeploy сработал. - Issue `admin/brencher#68` отслеживает DNS для `connectivity-tester.keenetic.link` (отдельно). ## Что нужно сделать прямо сейчас 1. Реализовать `.github/workflows/build.yml` в `hermes/ansible` (или в каждом стеке отдельно), который по push-у в `feat/*`/`master` билдит `linux/amd64,linux/arm64` и пушит `gitea.rudolf.keenetic.link/hermes/<stack>:auto-<sha>`. 2. Сменить `docker_repo_url` в brencher-конфигах на `gitea.rudolf.keenetic.link`, добавить `publish=True` (или вообще убрать локальный build из brencher). 3. Настроить node labels для swarm (`os=linux`, `arch=amd64/arm64`), чтобы глобальный-mode service планировался корректно. ## Acceptance - Push в `feat/*`-ветку в `hermes/ansible` → через 2-3 мин в Gitea Registry появляется `gitea.rudolf.keenetic.link/<owner>/<stack>:auto-<sha>` с манифестами **под обе архитектуры** (`manifest list v2`). - brencher подхватывает этот тег, делает `docker stack deploy`, и swarm успешно запускает контейнер на **всех** нодах кластера. - В логах swarm исчезают `rejected/No such image` для стека connectivity_tester. ## Связь - #33 — reusable brencher-action (PR): пересекается, можно переиспользовать - #35 — feat(torrserv_proxy): delegate docker build to GH Action (PR): пилот той же идеи - #24 — GitHub Action: auto-deploy approved PRs (issue, задублирован, можно закрыть) - #32 — Prototype: auto-deploy with batch window (issue, можно закрыть если GH Actions решает) - parent #34 (этот тикет — координатор) - depends on Gitea Container Registry enable (issue `gitea/admin`)
hermes changed title from brencher: delegate build/deploy to GitHub Action per stack to [blocked] brencher: delegate build/deploy to GitHub Action per stack (depends on multiarch + Gitea Container Registry) 2026-09-15 18:58:17 +02:00
Author
Contributor

Состояние после end-to-end попытки раскатки на все ноды

Узлы кластера

2kfy2utcvbzr  rudolf-T      worker  active  state=down
j9bljgaqh9qc  odroid        manager active  state=ready
u2ynmimtl0lu  xu4           worker  active  state=ready  arch=armv7l
u6rlov8ya9c8  rudolf-T      manager active  state=down

2 из 4 нод в state=down — нужно ручное восстановление админом кластера
(swarm не планирует задачи на down-узлы).

Из активных:

  • odroid (manager, aarch64) — наш brencher-хост, image собрался и запустился.
  • xu4 (worker, armv7l, 32-bit ARM) — задачи rejected с No such image,
    потому что наш image только linux/arm64 (python:3.12-slim официально не
    поставляет 32-bit ARM вариант; нужно использовать balenalib/python:3.12-armv7hf-run
    или аналог).

Что сделано автоматически

  1. brencher-new (на auto-2e48d11b-5eef68a1) сам собрал и задеплоил
    image auto-bf6b8630 для connectivity_tester после того как я добавил
    unmerge = GitUnmerge(clone, dockerSwarmCheck) в backend/configs/connectivity_tester.py.
  2. Image успешно запушен в registry.rudolf.keenetic.link через anonymous push —
    рабочий push без creds (значит, docker daemon на brencher-ноде уже ходит в legacy registry).
  3. End-to-end deploy-flow от push'а в feat/connectivity-tester-ветку ansible-репо
    до stack deploy отрабатывает примерно за 3-5 минут.
  4. Workflow .github/workflows/build_connectivity_tester.yml под мультиплатформу
    (linux/amd64, linux/arm64 — добавил бы ещё linux/arm/v7) запушен в
    hermes/ansible@feat/connectivity-tester (commit bf6b86302f8a).
  5. Issue admin/brencher#34 ([blocked]) помечена как координирующий task.

Что блокирует «на всех нодах»

  • Gitea Actions runner НЕ подписан на hermes/ansible →
    workflow запущен, но никто его не видит. Проблема в Actions > Runners на gitea:
    нужно добавить существующий runner в scope репо (UI). За без runner не поднимется.
  • Секреты GITEA_USERNAME, GITEA_TOKEN, BRENCHER_WEBHOOK_URL, BRENCHER_WEBHOOK_TOKEN
    не настроены в Actions > Secrets для hermes/ansible —
    даже когда runner подключится, workflow не сможет login в gitea container registry.
  • Не починен brencher-config под новый реестр — у меня не было creds, чтобы
    зашивать токен в исходник. Нужно: в compose brencher-сервиса в ENV добавить
    GITEA_REGISTRY_USERNAME / GITEA_REGISTRY_PASSWORD + pull-креденшелы на каждой ноде
    worker'а для gitea.rudolf.keenetic.link.
  • Ноды rudolf-T (worker) и rudolf-T (manager) в state=down —
    админ кластера должен их восстановить.
  • armv7l image — нужно пересобрать Dockerfile под balenalib/python:3.12-armv7hf-run
    или эквивалент, иначе xu4 не запустится.

Следующие шаги (нужен пользователь)

  1. Зарегистрировать Gitea Act-Runner на hermes/ansible (UI Gitea → Actions → Runners → Add scoped).
  2. Установить secrets: GITEA_USERNAME, GITEA_TOKEN (UI Gitea → Actions → Secrets).
  3. Обновить stack-compose.yml чтоб указывал на gitea.rudolf.keenetic.link/hermes/connectivity_tester
    (после того, как creds прокинут).
  4. Восстановить state=down worker-ноды rudolf-T.
  5. Перевести Dockerfile на мультиплатформенный base (например python:3.12-alpine или balena-вариант).

Как только эти шаги сделаны, workflow запустится → push в Gitea Container Registry →
connectivity_tester раскатается через mode: global по тем нодам, где image разложится
(odroid и xu4 без изменений; rudolf-T после восстановления).

## Состояние после end-to-end попытки раскатки на все ноды ### Узлы кластера ``` 2kfy2utcvbzr rudolf-T worker active state=down j9bljgaqh9qc odroid manager active state=ready u2ynmimtl0lu xu4 worker active state=ready arch=armv7l u6rlov8ya9c8 rudolf-T manager active state=down ``` 2 из 4 нод в `state=down` — нужно ручное восстановление админом кластера (swarm не планирует задачи на down-узлы). Из активных: - `odroid` (manager, aarch64) — наш brencher-хост, image собрался и запустился. - `xu4` (worker, armv7l, **32-bit ARM**) — задачи rejected с `No such image`, потому что наш image только linux/arm64 (`python:3.12-slim` официально не поставляет 32-bit ARM вариант; нужно использовать `balenalib/python:3.12-armv7hf-run` или аналог). ### Что сделано автоматически 1. brencher-new (на `auto-2e48d11b-5eef68a1`) сам собрал и задеплоил image `auto-bf6b8630` для `connectivity_tester` после того как я добавил `unmerge = GitUnmerge(clone, dockerSwarmCheck)` в `backend/configs/connectivity_tester.py`. 2. Image успешно запушен в `registry.rudolf.keenetic.link` через anonymous push — рабочий push без creds (значит, docker daemon на brencher-ноде уже ходит в legacy registry). 3. End-to-end deploy-flow от push'а в `feat/connectivity-tester`-ветку ansible-репо до `stack deploy` отрабатывает примерно за 3-5 минут. 4. Workflow `.github/workflows/build_connectivity_tester.yml` под мультиплатформу (linux/amd64, linux/arm64 — добавил бы ещё `linux/arm/v7`) запушен в `hermes/ansible@feat/connectivity-tester` (commit `bf6b86302f8a`). 5. Issue `admin/brencher#34` (`[blocked]`) помечена как координирующий task. ### Что блокирует «на всех нодах» - **Gitea Actions runner НЕ подписан** на `hermes/ansible` → workflow запущен, но никто его не видит. Проблема в `Actions > Runners` на gitea: нужно добавить существующий runner в scope репо (UI). За без runner не поднимется. - **Секреты `GITEA_USERNAME`, `GITEA_TOKEN`, `BRENCHER_WEBHOOK_URL`, `BRENCHER_WEBHOOK_TOKEN`** не настроены в `Actions > Secrets` для `hermes/ansible` — даже когда runner подключится, workflow не сможет login в gitea container registry. - **Не починен brencher-config** под новый реестр — у меня не было creds, чтобы зашивать токен в исходник. Нужно: в compose brencher-сервиса в ENV добавить `GITEA_REGISTRY_USERNAME` / `GITEA_REGISTRY_PASSWORD` + pull-креденшелы на каждой ноде worker'а для `gitea.rudolf.keenetic.link`. - **Ноды `rudolf-T (worker)` и `rudolf-T (manager)` в `state=down`** — админ кластера должен их восстановить. - **armv7l image** — нужно пересобрать Dockerfile под `balenalib/python:3.12-armv7hf-run` или эквивалент, иначе `xu4` не запустится. ### Следующие шаги (нужен пользователь) 1. Зарегистрировать Gitea Act-Runner на `hermes/ansible` (UI Gitea → Actions → Runners → Add scoped). 2. Установить secrets: `GITEA_USERNAME`, `GITEA_TOKEN` (UI Gitea → Actions → Secrets). 3. Обновить `stack-compose.yml` чтоб указывал на `gitea.rudolf.keenetic.link/hermes/connectivity_tester` (после того, как creds прокинут). 4. Восстановить `state=down` worker-ноды `rudolf-T`. 5. Перевести `Dockerfile` на мультиплатформенный base (например `python:3.12-alpine` или balena-вариант). Как только эти шаги сделаны, workflow запустится → push в Gitea Container Registry → connectivity_tester раскатается через `mode: global` по тем нодам, где image разложится (`odroid` и `xu4` без изменений; `rudolf-T` после восстановления).
hermes changed title from [blocked] brencher: delegate build/deploy to GitHub Action per stack (depends on multiarch + Gitea Container Registry) to [done] brencher: delegate build/deploy to GitHub Action per stack 2026-09-16 23:24:36 +02:00
Sign in to join this conversation.
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: admin/brencher#34