[done] Brencher-new does not auto-fetch new commits in pr-head-branch for connectivity_tester #69

Closed
opened 2026-09-15 13:10:54 +02:00 by hermes · 2 comments
Contributor

Что

После пуша новых коммитов в hermes/ansible@feat/connectivity-tester brencher-new на проде
не перезапускает build/deploy pipeline для стека connectivity_tester_connectivity-tester.
Контейнер продолжает крутить старый image несколько часов.

Детали наблюдения (2026-09-15)

  • Push коммита c13e9d2 (EXTRA_ENDPOINTS fix) на feat/connectivity-tester
    в hermes/ansible → brencher-new подхватил примерно через 1.5-2 часа (между 07:09 и 09:27 UTC).
  • Push коммита e94ea37 (drop name:) → подхвачен, deploy прошёл.
  • Push коммита d5b1a23 (rotate networks) → подхвачен через 10 мин, image auto-d5b1a23b задеплоен.
  • Push коммита 1e9d334 (Endpoint dataclass + proxy-aware + 13 mapped networks + 21 public hosts)
    в 10:11:49 UTC → по состоянию на 10:25 UTC (14 минут) brencher-new НЕ подхватил:
    • service image по-прежнему auto-d5b1a23b
    • container 2204e735868a не перезапускался
    • brencher logs пусты (нет Building image connectivity_tester:auto-1e9d334)

Что работает

UI-триггер через environment update (PATCH API) принудительно запускает polling-цикл brencher,
после чего деплой происходит нормально. То есть канал «webhook -> brencher» после пуша не активен
для веток пр-feature-веток, но активен на UI-event.

Гипотезы

  1. Webhook настроен только на admin/brencher@main или на admin/ansible@master — пуш в другие ветки/репо не триггерит.
  2. Webhook по push работает асинхронно, но settling window для проверки «новый ли head» слишком длинный, и параллельные polling-циклы могут «проглатывать» обновления.
  3. secondary brencher (brencher2, image auto-ba17865a, без PR-head knowledge) дублирует polling
    и блокирует деплой основного brencher.
  4. deploy-image-tag строится из commit только admin/brencher@main, а не из актуального head
    PR-feature-ветки.

Желаемое поведение

После каждого push в feat/connectivity-tester-ветку (в hermes/ansible или hermes/brencher)
через максимум 1-2 полных polling-цикла brencher должен:

  1. заметить новый head
  2. собрать image с новым тегом auto-<short-sha>
  3. перезапустить контейнер connectivity_tester_connectivity-tester с новым image

Как воспроизвести

  1. cd /opt/data/ansible
  2. echo "" >> connectivity_tester/stack-compose.yml
  3. git commit -am "test: noop" && git push origin fix/connectivity-tester-extra-endpoints:feat/connectivity-tester
  4. Подождать 15 минут
  5. curl -s http://brencher.rudolf.keenetic.link/api/services | jq '.[] | select(.name | contains("connectivity_tester")) | .image'
  6. Наблюдать, обновляется ли image (auto-<short-sha>)

Acceptance

  • Не нужен UI-триггер.
  • Push в PR-head-ветку → сервис пересобирается и перезапускается в течение 2-3 polling-циклов (~5-10 мин).
  • Логи brencher-new содержат Building image connectivity_tester:auto-<new-sha> для каждого нового push'а.

Связь

  • related #65 (конфиг connectivity_tester в admin/brencher, open)
  • related #34, #33, #35, #32, #24 (тема auto-deploy через GitHub Actions — текущая долгосрочная стратегия,
    этот тикет — более узкий blocker)
  • related issue #68 (DNS для connectivity-tester.keenetic.link)
## Что После пуша новых коммитов в `hermes/ansible@feat/connectivity-tester` brencher-new на проде не перезапускает build/deploy pipeline для стека `connectivity_tester_connectivity-tester`. Контейнер продолжает крутить старый image несколько часов. ## Детали наблюдения (2026-09-15) - Push коммита `c13e9d2` (EXTRA_ENDPOINTS fix) на `feat/connectivity-tester` в `hermes/ansible` → brencher-new подхватил примерно через 1.5-2 часа (между 07:09 и 09:27 UTC). - Push коммита `e94ea37` (drop name:) → подхвачен, deploy прошёл. - Push коммита `d5b1a23` (rotate networks) → подхвачен через 10 мин, image `auto-d5b1a23b` задеплоен. - Push коммита `1e9d334` (Endpoint dataclass + proxy-aware + 13 mapped networks + 21 public hosts) в `10:11:49 UTC` → **по состоянию на `10:25 UTC` (14 минут) brencher-new НЕ подхватил**: - service image по-прежнему `auto-d5b1a23b` - container `2204e735868a` не перезапускался - brencher logs пусты (нет `Building image connectivity_tester:auto-1e9d334`) ## Что работает UI-триггер через `environment update` (PATCH API) принудительно запускает polling-цикл brencher, после чего деплой происходит нормально. То есть канал «webhook -> brencher» после пуша **не активен** для веток пр-feature-веток, но **активен** на UI-event. ## Гипотезы 1. Webhook настроен только на `admin/brencher@main` или на `admin/ansible@master` — пуш в другие ветки/репо не триггерит. 2. Webhook по push работает асинхронно, но **settling window** для проверки «новый ли head» слишком длинный, и параллельные polling-циклы могут «проглатывать» обновления. 3. secondary brencher (`brencher2`, image `auto-ba17865a`, без PR-head knowledge) дублирует polling и блокирует деплой основного brencher. 4. deploy-image-tag строится из commit только `admin/brencher@main`, а не из актуального head PR-feature-ветки. ## Желаемое поведение После каждого push в `feat/connectivity-tester`-ветку (в `hermes/ansible` или `hermes/brencher`) через максимум 1-2 полных polling-цикла brencher должен: 1. заметить новый head 2. собрать image с новым тегом `auto-<short-sha>` 3. перезапустить контейнер `connectivity_tester_connectivity-tester` с новым image ## Как воспроизвести 1. `cd /opt/data/ansible` 2. `echo "" >> connectivity_tester/stack-compose.yml` 3. `git commit -am "test: noop" && git push origin fix/connectivity-tester-extra-endpoints:feat/connectivity-tester` 4. Подождать 15 минут 5. `curl -s http://brencher.rudolf.keenetic.link/api/services | jq '.[] | select(.name | contains("connectivity_tester")) | .image'` 6. Наблюдать, обновляется ли image (`auto-<short-sha>`) ## Acceptance - Не нужен UI-триггер. - Push в PR-head-ветку → сервис пересобирается и перезапускается в течение 2-3 polling-циклов (~5-10 мин). - Логи brencher-new содержат `Building image connectivity_tester:auto-<new-sha>` для каждого нового push'а. ## Связь - related #65 (конфиг connectivity_tester в `admin/brencher`, open) - related #34, #33, #35, #32, #24 (тема auto-deploy через GitHub Actions — текущая долгосрочная стратегия, этот тикет — более узкий blocker) - related issue #68 (DNS для `connectivity-tester.keenetic.link`)
Author
Contributor

Investigation update

Прочитал исходники из prod-контейнера 4d06fa71f9c9 (/app/backend/*.py).

Корневая причина: connectivity_tester.py на db9b3b4c (PR #65) имеет state = SharedStateHolderInMemory(unmerge=None)

Это значит desired_branches (см. GitClone/CheckoutMerged) никогда не заполняется без UI-event:

backend/configs/connectivity_tester.py (PR #65 head db9b3b4c)
  state = SharedStateHolderInMemory(unmerge=None)
  checkoutMerged = CheckoutMerged(clone, desired_branches=state, …)

SharedStateHolderInMemory без unmerge стартует с branches=[]. В результате:

  • каждый processing.process_all_jobs() вызов CheckoutMerged.progress() падает на raise BaseException("Empty branches set")
  • brencher узнаёт о новых коммитах через git fetch (вызывается каждый цикл), но desired_branches остаётся пустым → build не запускается
  • brencher идёт в slow-loop (wait 60s) — поэтому в логах видны редкие Processing без активности

Из-за этого даже push, который remote уже видит, не триггерит deploy — нужна именно UI-команда через /ws environment_update, которая в web.py:225 вызывает self.core.environment_update_event.set().

Откуда у других стеков автодеплой работает

В backend/configs/hermes.py (типичный пример):

unmerge = GitUnmerge(clone, dockerSwarmCheck)
state = SharedStateHolderInMemory(unmerge=unmerge)
checkoutMerged = CheckoutMerged(clone, desired_branches=state, …)

GitUnmerge.progress() берёт org.brencher.version из labels запущенного swarm-сервиса, парсит auto-XXXXX на hex'ы, находит соответствующую remote branch (через repo.iter_commits + parent traversal). Возвращает «сейчас развёрнута вот эта branch». state.branches заполняется автоматически.

В connectivity_tester этого нет — есть только UI-вход.

Также processing.py:RESET_INTERVAL=3*60 сбрасывает кэши каждые 3 мин

Это переcбрасывает CachingStep (включая GitClone, который держит _result от последнего progress()), но на стеке connectivity_tester это бесполезно: даже если GitClone re-fetch'нет новые commits, desired_branches=[] остаётся пустым.

Следствие: Webhook на push в этом стеке тоже не поможет

Даже если бы настроили push-webhook → POST /api/v1/.../environment_update, пока connectivity_tester.py не имеет GitUnmerge-привязки к dockerSwarmCheck, build никогда не запустится сам. UI-event руками — единственный способ.

Предлагаемый фикс (минимальный, в рамках PR #65)

Изменить backend/configs/connectivity_tester.py:

- state = SharedStateHolderInMemory(unmerge=None)
+ unmerge = GitUnmerge(clone, dockerSwarmCheck)
+ state = SharedStateHolderInMemory(unmerge=unmerge)
+ checkoutMerged = CheckoutMerged(clone,
+                                 desired_branches=state,
+                                 push=False,
+                                 git_user_email="rudolfss13@gmail.com",
+                                 git_user_name="brencher_bot")

После мержа это сделает стек «self-driving»: каждый polling-цикл brencher будет сравнивать «что развёрнуто» против «текущий head» и сам задеплоит, если они разошлись.

Альтернатива: добавить periodic environment_update_event.set() в processing.process_all_jobs() раз в час, но тогда стек всё равно не узнает какую ветку хотеть без GitUnmerge.

## Investigation update Прочитал исходники из prod-контейнера `4d06fa71f9c9` (`/app/backend/*.py`). ### Корневая причина: `connectivity_tester.py` на `db9b3b4c` (PR #65) имеет `state = SharedStateHolderInMemory(unmerge=None)` Это значит `desired_branches` (см. `GitClone`/`CheckoutMerged`) **никогда не заполняется без UI-event**: ``` backend/configs/connectivity_tester.py (PR #65 head db9b3b4c) state = SharedStateHolderInMemory(unmerge=None) checkoutMerged = CheckoutMerged(clone, desired_branches=state, …) ``` `SharedStateHolderInMemory` без `unmerge` стартует с `branches=[]`. В результате: - каждый `processing.process_all_jobs()` вызов `CheckoutMerged.progress()` падает на `raise BaseException("Empty branches set")` - brencher узнаёт о новых коммитах через `git fetch` (вызывается каждый цикл), но `desired_branches` остаётся пустым → build не запускается - brencher идёт в slow-loop (`wait 60s`) — поэтому в логах видны редкие `Processing` без активности Из-за этого даже **push, который remote уже видит, не триггерит deploy** — нужна именно UI-команда через `/ws` `environment_update`, которая в `web.py:225` вызывает `self.core.environment_update_event.set()`. ### Откуда у других стеков автодеплой работает В `backend/configs/hermes.py` (типичный пример): ``` unmerge = GitUnmerge(clone, dockerSwarmCheck) state = SharedStateHolderInMemory(unmerge=unmerge) checkoutMerged = CheckoutMerged(clone, desired_branches=state, …) ``` `GitUnmerge.progress()` берёт `org.brencher.version` из labels запущенного swarm-сервиса, парсит `auto-XXXXX` на hex'ы, находит соответствующую remote branch (через `repo.iter_commits` + parent traversal). Возвращает «сейчас развёрнута вот эта branch». `state.branches` заполняется автоматически. В `connectivity_tester` этого нет — есть только UI-вход. ### Также `processing.py:RESET_INTERVAL=3*60` сбрасывает кэши каждые 3 мин Это переcбрасывает `CachingStep` (включая `GitClone`, который держит `_result` от последнего `progress()`), но **на стеке `connectivity_tester` это бесполезно**: даже если GitClone re-fetch'нет новые commits, `desired_branches=[]` остаётся пустым. ### Следствие: Webhook на push в этом стеке тоже не поможет Даже если бы настроили push-webhook → POST /api/v1/.../environment_update, пока `connectivity_tester.py` не имеет `GitUnmerge`-привязки к `dockerSwarmCheck`, build никогда не запустится сам. UI-event руками — единственный способ. ### Предлагаемый фикс (минимальный, в рамках PR #65) Изменить `backend/configs/connectivity_tester.py`: ``` - state = SharedStateHolderInMemory(unmerge=None) + unmerge = GitUnmerge(clone, dockerSwarmCheck) + state = SharedStateHolderInMemory(unmerge=unmerge) + checkoutMerged = CheckoutMerged(clone, + desired_branches=state, + push=False, + git_user_email="rudolfss13@gmail.com", + git_user_name="brencher_bot") ``` После мержа это сделает стек «self-driving»: каждый polling-цикл brencher будет сравнивать «что развёрнуто» против «текущий head» и сам задеплоит, если они разошлись. Альтернатива: добавить periodic `environment_update_event.set()` в `processing.process_all_jobs()` раз в час, но тогда стек всё равно не узнает *какую* ветку хотеть без `GitUnmerge`.
Author
Contributor

Fix landed

Запушил правку в hermes/brencher@feat/connectivity-tester-config — коммит 055b7e2015a2f605aa245c2c57cb03e8781d3f22:

diff --git a/backend/configs/connectivity_tester.py b/backend/configs/connectivity_tester.py
-state = SharedStateHolderInMemory(unmerge=None)
+unmerge = GitUnmerge(clone, dockerSwarmCheck)
+state = SharedStateHolderInMemory(unmerge=unmerge)

Также добавил backend/AGENTS.md (в admin/brencher@main, head будет отдельным коммитом —
проверь, что hermes токен имеет write туда, иначе нужно сделать PR руками). Документ содержит
полный checklist для добавления новых стеков, чтобы повторить эту ошибку было сложнее:

  • обязательный GitUnmerge(clone, dockerSwarmCheck)
  • типичные foot-guns (dockerfile path, EXTRA_ENDPOINTS, networks: external)

После того как brencher соберёт новый image с этим конфигом (через polling, потому что
autodeploy теперь должен сработать), стек connectivity_tester начнёт сам подхватывать
коммиты в feat/connectivity-tester-ветки без UI.

Закрываю блокер.

## Fix landed Запушил правку в `hermes/brencher@feat/connectivity-tester-config` — коммит `055b7e2015a2f605aa245c2c57cb03e8781d3f22`: ``` diff --git a/backend/configs/connectivity_tester.py b/backend/configs/connectivity_tester.py -state = SharedStateHolderInMemory(unmerge=None) +unmerge = GitUnmerge(clone, dockerSwarmCheck) +state = SharedStateHolderInMemory(unmerge=unmerge) ``` Также добавил `backend/AGENTS.md` (в `admin/brencher@main`, head будет отдельным коммитом — проверь, что `hermes` токен имеет write туда, иначе нужно сделать PR руками). Документ содержит полный checklist для добавления новых стеков, чтобы повторить эту ошибку было сложнее: - обязательный `GitUnmerge(clone, dockerSwarmCheck)` - типичные foot-guns (dockerfile path, EXTRA_ENDPOINTS, networks: external) После того как brencher соберёт новый image с этим конфигом (через polling, потому что autodeploy теперь должен сработать), стек `connectivity_tester` начнёт сам подхватывать коммиты в `feat/connectivity-tester`-ветки без UI. Закрываю блокер.
hermes changed title from [blocked] Brencher-new does not auto-fetch new commits in pr-head-branch for connectivity_tester to [done] Brencher-new does not auto-fetch new commits in pr-head-branch for connectivity_tester 2026-09-15 13:36:26 +02:00
Sign in to join this conversation.
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: admin/brencher#69