После пуша новых коммитов в hermes/ansible@feat/connectivity-tester brencher-new на проде
не перезапускает build/deploy pipeline для стека connectivity_tester_connectivity-tester.
Контейнер продолжает крутить старый image несколько часов.
Детали наблюдения (2026-09-15)
Push коммита c13e9d2 (EXTRA_ENDPOINTS fix) на feat/connectivity-tester
в hermes/ansible → brencher-new подхватил примерно через 1.5-2 часа (между 07:09 и 09:27 UTC).
Push коммита 1e9d334 (Endpoint dataclass + proxy-aware + 13 mapped networks + 21 public hosts)
в 10:11:49 UTC → по состоянию на 10:25 UTC (14 минут) brencher-new НЕ подхватил:
service image по-прежнему auto-d5b1a23b
container 2204e735868a не перезапускался
brencher logs пусты (нет Building image connectivity_tester:auto-1e9d334)
Что работает
UI-триггер через environment update (PATCH API) принудительно запускает polling-цикл brencher,
после чего деплой происходит нормально. То есть канал «webhook -> brencher» после пуша не активен
для веток пр-feature-веток, но активен на UI-event.
Гипотезы
Webhook настроен только на admin/brencher@main или на admin/ansible@master — пуш в другие ветки/репо не триггерит.
Webhook по push работает асинхронно, но settling window для проверки «новый ли head» слишком длинный, и параллельные polling-циклы могут «проглатывать» обновления.
secondary brencher (brencher2, image auto-ba17865a, без PR-head knowledge) дублирует polling
и блокирует деплой основного brencher.
deploy-image-tag строится из commit только admin/brencher@main, а не из актуального head
PR-feature-ветки.
Желаемое поведение
После каждого push в feat/connectivity-tester-ветку (в hermes/ansible или hermes/brencher)
через максимум 1-2 полных polling-цикла brencher должен:
заметить новый head
собрать image с новым тегом auto-<short-sha>
перезапустить контейнер connectivity_tester_connectivity-tester с новым image
Наблюдать, обновляется ли image (auto-<short-sha>)
Acceptance
Не нужен UI-триггер.
Push в PR-head-ветку → сервис пересобирается и перезапускается в течение 2-3 polling-циклов (~5-10 мин).
Логи brencher-new содержат Building image connectivity_tester:auto-<new-sha> для каждого нового push'а.
Связь
related #65 (конфиг connectivity_tester в admin/brencher, open)
related #34, #33, #35, #32, #24 (тема auto-deploy через GitHub Actions — текущая долгосрочная стратегия,
этот тикет — более узкий blocker)
related issue #68 (DNS для connectivity-tester.keenetic.link)
## Что
После пуша новых коммитов в `hermes/ansible@feat/connectivity-tester` brencher-new на проде
не перезапускает build/deploy pipeline для стека `connectivity_tester_connectivity-tester`.
Контейнер продолжает крутить старый image несколько часов.
## Детали наблюдения (2026-09-15)
- Push коммита `c13e9d2` (EXTRA_ENDPOINTS fix) на `feat/connectivity-tester`
в `hermes/ansible` → brencher-new подхватил примерно через 1.5-2 часа (между 07:09 и 09:27 UTC).
- Push коммита `e94ea37` (drop name:) → подхвачен, deploy прошёл.
- Push коммита `d5b1a23` (rotate networks) → подхвачен через 10 мин, image `auto-d5b1a23b` задеплоен.
- Push коммита `1e9d334` (Endpoint dataclass + proxy-aware + 13 mapped networks + 21 public hosts)
в `10:11:49 UTC` → **по состоянию на `10:25 UTC` (14 минут) brencher-new НЕ подхватил**:
- service image по-прежнему `auto-d5b1a23b`
- container `2204e735868a` не перезапускался
- brencher logs пусты (нет `Building image connectivity_tester:auto-1e9d334`)
## Что работает
UI-триггер через `environment update` (PATCH API) принудительно запускает polling-цикл brencher,
после чего деплой происходит нормально. То есть канал «webhook -> brencher» после пуша **не активен**
для веток пр-feature-веток, но **активен** на UI-event.
## Гипотезы
1. Webhook настроен только на `admin/brencher@main` или на `admin/ansible@master` — пуш в другие ветки/репо не триггерит.
2. Webhook по push работает асинхронно, но **settling window** для проверки «новый ли head» слишком длинный, и параллельные polling-циклы могут «проглатывать» обновления.
3. secondary brencher (`brencher2`, image `auto-ba17865a`, без PR-head knowledge) дублирует polling
и блокирует деплой основного brencher.
4. deploy-image-tag строится из commit только `admin/brencher@main`, а не из актуального head
PR-feature-ветки.
## Желаемое поведение
После каждого push в `feat/connectivity-tester`-ветку (в `hermes/ansible` или `hermes/brencher`)
через максимум 1-2 полных polling-цикла brencher должен:
1. заметить новый head
2. собрать image с новым тегом `auto-<short-sha>`
3. перезапустить контейнер `connectivity_tester_connectivity-tester` с новым image
## Как воспроизвести
1. `cd /opt/data/ansible`
2. `echo "" >> connectivity_tester/stack-compose.yml`
3. `git commit -am "test: noop" && git push origin fix/connectivity-tester-extra-endpoints:feat/connectivity-tester`
4. Подождать 15 минут
5. `curl -s http://brencher.rudolf.keenetic.link/api/services | jq '.[] | select(.name | contains("connectivity_tester")) | .image'`
6. Наблюдать, обновляется ли image (`auto-<short-sha>`)
## Acceptance
- Не нужен UI-триггер.
- Push в PR-head-ветку → сервис пересобирается и перезапускается в течение 2-3 polling-циклов (~5-10 мин).
- Логи brencher-new содержат `Building image connectivity_tester:auto-<new-sha>` для каждого нового push'а.
## Связь
- related #65 (конфиг connectivity_tester в `admin/brencher`, open)
- related #34, #33, #35, #32, #24 (тема auto-deploy через GitHub Actions — текущая долгосрочная стратегия,
этот тикет — более узкий blocker)
- related issue #68 (DNS для `connectivity-tester.keenetic.link`)
Прочитал исходники из prod-контейнера 4d06fa71f9c9 (/app/backend/*.py).
Корневая причина: connectivity_tester.py на db9b3b4c (PR #65) имеет state = SharedStateHolderInMemory(unmerge=None)
Это значит desired_branches (см. GitClone/CheckoutMerged) никогда не заполняется без UI-event:
backend/configs/connectivity_tester.py (PR #65 head db9b3b4c)
state = SharedStateHolderInMemory(unmerge=None)
checkoutMerged = CheckoutMerged(clone, desired_branches=state, …)
SharedStateHolderInMemory без unmerge стартует с branches=[]. В результате:
каждый processing.process_all_jobs() вызов CheckoutMerged.progress() падает на raise BaseException("Empty branches set")
brencher узнаёт о новых коммитах через git fetch (вызывается каждый цикл), но desired_branches остаётся пустым → build не запускается
brencher идёт в slow-loop (wait 60s) — поэтому в логах видны редкие Processing без активности
Из-за этого даже push, который remote уже видит, не триггерит deploy — нужна именно UI-команда через /wsenvironment_update, которая в web.py:225 вызывает self.core.environment_update_event.set().
GitUnmerge.progress() берёт org.brencher.version из labels запущенного swarm-сервиса, парсит auto-XXXXX на hex'ы, находит соответствующую remote branch (через repo.iter_commits + parent traversal). Возвращает «сейчас развёрнута вот эта branch». state.branches заполняется автоматически.
В connectivity_tester этого нет — есть только UI-вход.
Также processing.py:RESET_INTERVAL=3*60 сбрасывает кэши каждые 3 мин
Это переcбрасывает CachingStep (включая GitClone, который держит _result от последнего progress()), но на стеке connectivity_tester это бесполезно: даже если GitClone re-fetch'нет новые commits, desired_branches=[] остаётся пустым.
Следствие: Webhook на push в этом стеке тоже не поможет
Даже если бы настроили push-webhook → POST /api/v1/.../environment_update, пока connectivity_tester.py не имеет GitUnmerge-привязки к dockerSwarmCheck, build никогда не запустится сам. UI-event руками — единственный способ.
После мержа это сделает стек «self-driving»: каждый polling-цикл brencher будет сравнивать «что развёрнуто» против «текущий head» и сам задеплоит, если они разошлись.
Альтернатива: добавить periodic environment_update_event.set() в processing.process_all_jobs() раз в час, но тогда стек всё равно не узнает какую ветку хотеть без GitUnmerge.
## Investigation update
Прочитал исходники из prod-контейнера `4d06fa71f9c9` (`/app/backend/*.py`).
### Корневая причина: `connectivity_tester.py` на `db9b3b4c` (PR #65) имеет `state = SharedStateHolderInMemory(unmerge=None)`
Это значит `desired_branches` (см. `GitClone`/`CheckoutMerged`) **никогда не заполняется без UI-event**:
```
backend/configs/connectivity_tester.py (PR #65 head db9b3b4c)
state = SharedStateHolderInMemory(unmerge=None)
checkoutMerged = CheckoutMerged(clone, desired_branches=state, …)
```
`SharedStateHolderInMemory` без `unmerge` стартует с `branches=[]`. В результате:
- каждый `processing.process_all_jobs()` вызов `CheckoutMerged.progress()` падает на `raise BaseException("Empty branches set")`
- brencher узнаёт о новых коммитах через `git fetch` (вызывается каждый цикл), но `desired_branches` остаётся пустым → build не запускается
- brencher идёт в slow-loop (`wait 60s`) — поэтому в логах видны редкие `Processing` без активности
Из-за этого даже **push, который remote уже видит, не триггерит deploy** — нужна именно UI-команда через `/ws` `environment_update`, которая в `web.py:225` вызывает `self.core.environment_update_event.set()`.
### Откуда у других стеков автодеплой работает
В `backend/configs/hermes.py` (типичный пример):
```
unmerge = GitUnmerge(clone, dockerSwarmCheck)
state = SharedStateHolderInMemory(unmerge=unmerge)
checkoutMerged = CheckoutMerged(clone, desired_branches=state, …)
```
`GitUnmerge.progress()` берёт `org.brencher.version` из labels запущенного swarm-сервиса, парсит `auto-XXXXX` на hex'ы, находит соответствующую remote branch (через `repo.iter_commits` + parent traversal). Возвращает «сейчас развёрнута вот эта branch». `state.branches` заполняется автоматически.
В `connectivity_tester` этого нет — есть только UI-вход.
### Также `processing.py:RESET_INTERVAL=3*60` сбрасывает кэши каждые 3 мин
Это переcбрасывает `CachingStep` (включая `GitClone`, который держит `_result` от последнего `progress()`), но **на стеке `connectivity_tester` это бесполезно**: даже если GitClone re-fetch'нет новые commits, `desired_branches=[]` остаётся пустым.
### Следствие: Webhook на push в этом стеке тоже не поможет
Даже если бы настроили push-webhook → POST /api/v1/.../environment_update, пока `connectivity_tester.py` не имеет `GitUnmerge`-привязки к `dockerSwarmCheck`, build никогда не запустится сам. UI-event руками — единственный способ.
### Предлагаемый фикс (минимальный, в рамках PR #65)
Изменить `backend/configs/connectivity_tester.py`:
```
- state = SharedStateHolderInMemory(unmerge=None)
+ unmerge = GitUnmerge(clone, dockerSwarmCheck)
+ state = SharedStateHolderInMemory(unmerge=unmerge)
+ checkoutMerged = CheckoutMerged(clone,
+ desired_branches=state,
+ push=False,
+ git_user_email="rudolfss13@gmail.com",
+ git_user_name="brencher_bot")
```
После мержа это сделает стек «self-driving»: каждый polling-цикл brencher будет сравнивать «что развёрнуто» против «текущий head» и сам задеплоит, если они разошлись.
Альтернатива: добавить periodic `environment_update_event.set()` в `processing.process_all_jobs()` раз в час, но тогда стек всё равно не узнает *какую* ветку хотеть без `GitUnmerge`.
Также добавил backend/AGENTS.md (в admin/brencher@main, head будет отдельным коммитом —
проверь, что hermes токен имеет write туда, иначе нужно сделать PR руками). Документ содержит
полный checklist для добавления новых стеков, чтобы повторить эту ошибку было сложнее:
После того как brencher соберёт новый image с этим конфигом (через polling, потому что
autodeploy теперь должен сработать), стек connectivity_tester начнёт сам подхватывать
коммиты в feat/connectivity-tester-ветки без UI.
Закрываю блокер.
## Fix landed
Запушил правку в `hermes/brencher@feat/connectivity-tester-config` — коммит `055b7e2015a2f605aa245c2c57cb03e8781d3f22`:
```
diff --git a/backend/configs/connectivity_tester.py b/backend/configs/connectivity_tester.py
-state = SharedStateHolderInMemory(unmerge=None)
+unmerge = GitUnmerge(clone, dockerSwarmCheck)
+state = SharedStateHolderInMemory(unmerge=unmerge)
```
Также добавил `backend/AGENTS.md` (в `admin/brencher@main`, head будет отдельным коммитом —
проверь, что `hermes` токен имеет write туда, иначе нужно сделать PR руками). Документ содержит
полный checklist для добавления новых стеков, чтобы повторить эту ошибку было сложнее:
- обязательный `GitUnmerge(clone, dockerSwarmCheck)`
- типичные foot-guns (dockerfile path, EXTRA_ENDPOINTS, networks: external)
После того как brencher соберёт новый image с этим конфигом (через polling, потому что
autodeploy теперь должен сработать), стек `connectivity_tester` начнёт сам подхватывать
коммиты в `feat/connectivity-tester`-ветки без UI.
Закрываю блокер.
hermes
changed title from [blocked] Brencher-new does not auto-fetch new commits in pr-head-branch for connectivity_tester to [done] Brencher-new does not auto-fetch new commits in pr-head-branch for connectivity_tester2026-09-15 13:36:26 +02:00
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
Что
После пуша новых коммитов в
hermes/ansible@feat/connectivity-testerbrencher-new на продене перезапускает build/deploy pipeline для стека
connectivity_tester_connectivity-tester.Контейнер продолжает крутить старый image несколько часов.
Детали наблюдения (2026-09-15)
c13e9d2(EXTRA_ENDPOINTS fix) наfeat/connectivity-testerв
hermes/ansible→ brencher-new подхватил примерно через 1.5-2 часа (между 07:09 и 09:27 UTC).e94ea37(drop name:) → подхвачен, deploy прошёл.d5b1a23(rotate networks) → подхвачен через 10 мин, imageauto-d5b1a23bзадеплоен.1e9d334(Endpoint dataclass + proxy-aware + 13 mapped networks + 21 public hosts)в
10:11:49 UTC→ по состоянию на10:25 UTC(14 минут) brencher-new НЕ подхватил:auto-d5b1a23b2204e735868aне перезапускалсяBuilding image connectivity_tester:auto-1e9d334)Что работает
UI-триггер через
environment update(PATCH API) принудительно запускает polling-цикл brencher,после чего деплой происходит нормально. То есть канал «webhook -> brencher» после пуша не активен
для веток пр-feature-веток, но активен на UI-event.
Гипотезы
admin/brencher@mainили наadmin/ansible@master— пуш в другие ветки/репо не триггерит.brencher2, imageauto-ba17865a, без PR-head knowledge) дублирует pollingи блокирует деплой основного brencher.
admin/brencher@main, а не из актуального headPR-feature-ветки.
Желаемое поведение
После каждого push в
feat/connectivity-tester-ветку (вhermes/ansibleилиhermes/brencher)через максимум 1-2 полных polling-цикла brencher должен:
auto-<short-sha>connectivity_tester_connectivity-testerс новым imageКак воспроизвести
cd /opt/data/ansibleecho "" >> connectivity_tester/stack-compose.ymlgit commit -am "test: noop" && git push origin fix/connectivity-tester-extra-endpoints:feat/connectivity-testercurl -s http://brencher.rudolf.keenetic.link/api/services | jq '.[] | select(.name | contains("connectivity_tester")) | .image'auto-<short-sha>)Acceptance
Building image connectivity_tester:auto-<new-sha>для каждого нового push'а.Связь
admin/brencher, open)этот тикет — более узкий blocker)
connectivity-tester.keenetic.link)Investigation update
Прочитал исходники из prod-контейнера
4d06fa71f9c9(/app/backend/*.py).Корневая причина:
connectivity_tester.pyнаdb9b3b4c(PR #65) имеетstate = SharedStateHolderInMemory(unmerge=None)Это значит
desired_branches(см.GitClone/CheckoutMerged) никогда не заполняется без UI-event:SharedStateHolderInMemoryбезunmergeстартует сbranches=[]. В результате:processing.process_all_jobs()вызовCheckoutMerged.progress()падает наraise BaseException("Empty branches set")git fetch(вызывается каждый цикл), ноdesired_branchesостаётся пустым → build не запускаетсяwait 60s) — поэтому в логах видны редкиеProcessingбез активностиИз-за этого даже push, который remote уже видит, не триггерит deploy — нужна именно UI-команда через
/wsenvironment_update, которая вweb.py:225вызываетself.core.environment_update_event.set().Откуда у других стеков автодеплой работает
В
backend/configs/hermes.py(типичный пример):GitUnmerge.progress()берётorg.brencher.versionиз labels запущенного swarm-сервиса, парситauto-XXXXXна hex'ы, находит соответствующую remote branch (черезrepo.iter_commits+ parent traversal). Возвращает «сейчас развёрнута вот эта branch».state.branchesзаполняется автоматически.В
connectivity_testerэтого нет — есть только UI-вход.Также
processing.py:RESET_INTERVAL=3*60сбрасывает кэши каждые 3 минЭто переcбрасывает
CachingStep(включаяGitClone, который держит_resultот последнегоprogress()), но на стекеconnectivity_testerэто бесполезно: даже если GitClone re-fetch'нет новые commits,desired_branches=[]остаётся пустым.Следствие: Webhook на push в этом стеке тоже не поможет
Даже если бы настроили push-webhook → POST /api/v1/.../environment_update, пока
connectivity_tester.pyне имеетGitUnmerge-привязки кdockerSwarmCheck, build никогда не запустится сам. UI-event руками — единственный способ.Предлагаемый фикс (минимальный, в рамках PR #65)
Изменить
backend/configs/connectivity_tester.py:После мержа это сделает стек «self-driving»: каждый polling-цикл brencher будет сравнивать «что развёрнуто» против «текущий head» и сам задеплоит, если они разошлись.
Альтернатива: добавить periodic
environment_update_event.set()вprocessing.process_all_jobs()раз в час, но тогда стек всё равно не узнает какую ветку хотеть безGitUnmerge.Fix landed
Запушил правку в
hermes/brencher@feat/connectivity-tester-config— коммит055b7e2015a2f605aa245c2c57cb03e8781d3f22:Также добавил
backend/AGENTS.md(вadmin/brencher@main, head будет отдельным коммитом —проверь, что
hermesтокен имеет write туда, иначе нужно сделать PR руками). Документ содержитполный checklist для добавления новых стеков, чтобы повторить эту ошибку было сложнее:
GitUnmerge(clone, dockerSwarmCheck)После того как brencher соберёт новый image с этим конфигом (через polling, потому что
autodeploy теперь должен сработать), стек
connectivity_testerначнёт сам подхватыватькоммиты в
feat/connectivity-tester-ветки без UI.Закрываю блокер.
[blocked] Brencher-new does not auto-fetch new commits in pr-head-branch for connectivity_testerto [done] Brencher-new does not auto-fetch new commits in pr-head-branch for connectivity_tester