Hermes: сессии в Telegram-топике прерывают друг друга (новое user msg обрывает активный run другой сессии) #26

Open
opened 2026-08-30 23:24:33 +02:00 by hermes · 0 comments
Contributor

Симптом

В Telegram-топике сессии Hermes прерывают друг друга: пользовательское сообщение в одном топике прерывает активный run другой сессии Hermes (платформа/топик/чат одни и те же, но Hermes запустил несколько параллельных run'ов).

Конкретно наблюдается в чате "Alex and InfraAlexBot" (multi-user thread), когда у пользователя одновременно открыты несколько «параллельных» разговоров с ботом.

Что проверено

  • Это не mid-turn user steering (нет маркера [OUT-OF-BAND USER MESSAGE …]) — сообщения выглядят как обычные user input, попадающие в очередь нового turn.
  • В Telegram topic routing Hermes берёт сессии по HERMES_SESSION_* переменным; сами Hermes-сессии помечены как multi-user thread, и идентификация сессии у разных веток общения расходится.

Гипотезы

  1. Один и тот же HERMES_SESSION_* набор переиспользуется для разных топиков / пользователей ⇒ run'ы склеиваются, новое сообщение прерывает предыдущий run.
  2. Несколько параллельных run'ов в одной session (например, фоновая задача / cron / инструмент с background=True/notify_on_complete=True) — новое сообщение прерывает именно ту, что на foreground, причём из-за общего локпа loop'а обе «склеиваются».
  3. Race между user-input и асинхронной доставкой от TTS/voice/cron/delegate_task → обновление состояния сессии приходит после последнего юзерского input, и run интерпретирует это как «сообщение от пользователя прервало», отбрасывая собственный прогресс.

Что нужно выяснить (next steps)

  • Снять journalctl -u hermes* --since today (или эквивалент) и подтвердить, что в момент прерывания был именно новый user turn, а не background tool result.
  • Найти в коде Hermes место, где несколько «ходов» могут одновременно крутиться в одной session (делегирование, фоновые процессы, TTS, воркер очереди сообщений).
  • Проверить, как ключуется идентификация сессии при multi-thread (по топику / по chat_id / по thread id / по Hermes session id).
  • Минимальный repro: два клиента в один топик, разные нити разговора; первое сообщение запускает длинный run; второе сообщение приходит в ту же секунду ⇒ на каком run'е прерывание остановилось.

Окружение

  • Hermes → MiniMax-M3 (provider minimax-oauth), Telegram-интеграция.
  • Host: odroid (Linux 5.15), prod-свисток.
  • Сегодняшнее наблюдение в чате "Alex and InfraAlexBot", thread 1718.

Связанное

  • Mid-turn user steering в Hermes уже штатно работает через [OUT-OF-BAND USER MESSAGE …] маркер — это отдельный механизм; бага выше — не про этот маркер.
  • USER.md / MEMORY.md предпочтения: «лучше больше тикетов» — этот тикет не дубликат существующих (по repos/admin/*/issues?state=open других обращений про session-interrupt не найдено).

Зацепка от пользователя

  • «Получаю сообщение в телеграме» — что именно наблюдается (юзер видит входящее в Telegram-канал из рассылки/от бота/от стороннего сервиса) пока не уточнено; смысл — зафиксировать как входящий сигнал, что в этом контексте у пользователя приходят сообщения через Telegram, и это один из источников входных данных для Hermes-сессии.

Расследование prod (2026-08-30, ~21:35) — что нашлось

Что в prod

  • Telegram для чата -1004417969359 и топика :1718 живёт в стеке hermes_infra (admin/ansible → hermes_squid/stack-compose.yml), сервис hermes-gateway, image nousresearch/hermes-agent:v2026.8.3. Это тот gateway, с которым ты сейчас говоришь.
  • Отдельный стек hermes — подключён к другому Telegram-боту (чат -1004355191149). Не пересекается.
  • Стек docker_socket_proxy (тоже v2026.8.3) — gateway поднят, но platforms={}, ни к одному messenger не подключён. Brencher-артефакт.
  • Конкуренции двух gateway'ев за один чат-id нет.

Лог prod-gateway (контейнер 81efa27b9ebe)

В gateway.log за последние сутки нет ни одного «interrupted by user message» — значит, «прерывание сессии в топике приходом нового сообщения» в нашем топике за сегодня не воспроизводится в логах.

Что есть, и это похоже на реальную причину жалобы:

  1. Persisted transcript lagged live cached history (disk=N, memory=N+1) — 27 случаев на сессии Home :16 (на каждом inbound message):
    2026-08-30 21:06:19,836 … (disk=567, memory=568)
    2026-08-30 21:11:41,627 … (disk=579, memory=580)
    2026-08-30 21:13:03,796 … (disk=583, memory=584)
    
    disk=N → memory=N+1 ⇒ диск отстаёт ровно на одну запись. Персистенс транскрипта не успевает за генерацией модели.
  2. 2 крупных interrupt (30.08):
    • 18:45:38 Received SIGTERM … parent_pid=148 parent_name=s6-supervise ⇒ container-stop от s6 (НЕ brencher, НЕ scale).
    • 22:53 — тот же механизм; этот момент совпал с service Spec.UpdatedAt=2026-08-29T22:53:16Z (brencher передёрнул service spec).
    • После каждого: drain timed out after 0.0s with 1 active agent(s) … interrupting remaining work ⇒ Scheduled auto-resume for 1 restart-interrupted session(s).
  3. 17:19 / 17:42 — чистые exit/restart (rolling).
  4. 4–5 августа — exit-loop каждые 2 минуты, rss_kib от 72 до 147, suspected_oom=False. Симптом тот же: процесс «не отвечает» без memory-exceedance.

Гипотеза корня

hermes-gateway имеет memory limit 1 ГБ (hermes_squid/stack-compose.yml → deploy.resources.limits.memory: 1G). На длинной Home-сессии модель пишет в кэш транскрипта быстрее, чем SQLite WAL/journal успевает синкать на диск ⇒ lagged ⇒ Docker Swarm / s6 считает процесс «не отвечает» → SIGTERM → drain 0.0s (потому что у сервиса нет healthcheck и stop_grace_period default 10s) → interrupt активного агента → при следующем старте auto-resume — пользователь видит «отвалилось».

Что НЕ нашлось

  • Следов OUT-OF-BAND маркера в нашем топике — этот механизм не при делах.
  • Следов двух gateway'ев на одном чат-id — конкуренции за токен нет.
  • Следов race-condition «новое сообщение прервало активный run» (должно было оставить superseded/stale/etc.).

Предлагаемый фикс в стеке (admin/ansible:hermes_squid/stack-compose.yml)

  1. hermes-gateway.resources.limits.memory 1G → 2G + reservations.memory 1G → 2G (там же, чуть выше). Тяжёлые сессии с большим контекстом валят 1 ГБ.
  2. hermes-gateway.resources.limits.pids 512 → 1024 — на сессии с lagged подозрительно, что Pids limit заканчивается раньше памяти.
  3. Добавить healthcheck (compose секция hermes-gateway):
    healthcheck:
      test: ["CMD", "python3", "-c", "import socket; s=socket.socket(); s.settimeout(2); s.connect(('127.0.0.1', 8087))"]
      interval: 30s
      timeout: 5s
      retries: 3
      start_period: 60s
    
    (порт 8087 — это dashboard/health port из env HERMES_DASHBOARD_*; если реальный health-endpoint другой — заменить; проверить через hermes gateway health --connect-timeout 1 в работающем контейнере).
  4. Добавить deploy.endpoint_mode: vip (уже есть), и в TaskTemplate секции compose — task.stop_grace_period: 60s + task.placement.max_attempts: 3 (default — отсутствует ⇒ при первом же fail контейнер не рестартится корректно).
  5. restart_policy уже condition: on-failure — оставить, но добавить delay: 5s, max_attempts: 5 (отсутствует).

Саб-тикеты (per user-pref «больше тикетов»)

  • #27 resources.memory 1G → 2G + pids 512 → 1024.
  • #28 healthcheck + stop_grace_period 60s.
  • #29 README в hermes_squid/: закрепить, что hermes_infra работает на prod-токене -1004417969359, а соседний hermes-стек (-1004355191149) — другой чат, не сливать.
  • #30 recovery playbook в hermes_squid/diagnostics/: что делать, когда gateway.log начинает сыпать Persisted transcript lagged … (possible FTS write corruption) (диагностика и триггер для ручного вмешательства).

Готов сделать в одном PR

Все 4 пункта помещаются в один hermes_squid/stack-compose.yml + один README.md + один файл playbook. Если согласен — заведу PR (single-purpose, ready to test on prod). Размер diff = ~40 строк, никаких внешних зависимостей. Деплой через brencher-stack-update, откат — docker service rollback.

Env

  • Prod-host: odroid (Linux 5.15). Stack hermes_infra / service hermes-gateway.
  • Compose path: admin/ansible/hermes_squid/stack-compose.yml.
  • Image pin: nousresearch/hermes-agent:v2026.8.3 (compose); running container — image revision 3c27eb62….
  • Service-ID swarm: vk9xj8rsqskjx6lvl0drjlhfy. Task-ID после 18:45Z: tk0a3uspxjzj1btgkv36aqbpx (свежий task живёт здесь).

Зацепки #2 (после развертывания PR #27 через brencher-stack deploy на 22:03Z)

1. Прямая причина «бот перестал отвечать»

Из gateway.log контейнера b70a6cd958ac… записано (см. сегмент 22:04:40 → 22:06:17, плюс после полуночи):

22:04:40 WARNING agent.auxiliary_client: resolve_provider_client: nous requested but Nous Portal not configured
22:04:40 WARNING Auxiliary: marking openrouter unhealthy for 60s (payment / credit error)
22:04:40 WARNING Auxiliary: marking nous unhealthy for 60s (payment / credit error)
22:05:13 WARNING Tool memory returned error — "Memory at 1,009/1,375 chars. Adding this entry would exceed the limit"
22:05:23 WARNING agent.relay_runtime: Hermes Relay turn finalization failed
22:05:23 RuntimeError: invalid argument: scope handle is not at the top of the stack
22:05:32 WARNING Tool memory returned error — "Memory at 4,345/4,400 chars..."
22:05:41 WARNING Tool memory returned error — "'replace' needs old_text"
22:06:17 WARNING Tool execute_code returned error (script.py line 16 SyntaxError)
01:11:46 ERROR  [Telegram] Telegram network error ... scheduling reconnect: Bad Gateway
01:11:46 WARNING [Telegram] updater.stop() timed out during network-error reconnect
01:12:27 ERROR  telegram.ext: Network Retry Loop (Bootstrap delete Webhook): Timed out
01:12:27         telegram.error.TimedOut: Timed out
01:12:27 WARNING [Telegram] Telegram polling reconnect failed: Timed out

⇒ Таймлайн: brencher-stack deploy принёс compose из feat/docker-socket-proxy-readonly (sha auto-007af765); SIGTERM на старый контейнер 81efa27…; drain +0.63s (clean); lifecycle-классификация UNCLEANLY (s6 не отдал clean exit-code). 22:04:13 — старт нового b70a6cd958ac…. На старте 2 активные сессии (Home :16 и топик :114) авто-возобновились. 22:04:40 — основные провайдеры помечены unhealthy (Nous Portal not configured, openrouter по payment error). 22:05:13–22:06:17 — несколько side-effecting tools (memory, execute_code, hermes-relay) вернули ошибки; run не упал, но финализация turn'а сломалась в scope-handle. 01:11:46–01:12:27 — настоящий «бот перестал отвечать»: Telegram-polling пошёл в retry-loop Bad Gateway → Timed out на deleteWebhook; updater.stop() зависло ⇒ бот не принимает/шлёт до исчерпания retry-лимита. Что вызвало Bad Gateway — помогут проверить squid-метрики (см. ниже).

2. Telegram-токен живёт PLAINTEXT в /opt/data/.env (на volume)

GITEA_PASSWORD=...
GITEA_TOKEN=...
TELEGRAM_BOT_TOKEN=8621583632:AAA...
TELEGRAM_ALLOWED_USERS=105762863
TELEGRAM_HOME_CHANNEL=-1004417969359
TELEGRAM_HOME_CHANNEL_THREAD_ID=1

⇒ Telegram-токен, Gitea-password, Gitea-token — все три в plain text на persist volume:

  • Любой docker exec … sh внутри gateway'a логически их отдаёт.
  • Любой http-запрос GET /containers/{id}/archive?path=/opt/data/.env отдаёт их через socket-proxy (proxy разрешает POST=0 но archive?path=… — read-only path, не контролируемый).
  • Утекают в /proc/<pid>/environ любого дочернего процесса.
  • При docker inspect --format='{{.Config.Env}}' НЕ отдаются (тут чисто), но /opt/data/.env всё равно plain file.
  • bot-token имеет full takeover Telegram-бота ⇒ самый серьёзный риск в стеке.

Минимальный фикс — перенести в docker secret (type=file, секрет маунтится в /run/secrets/<name> и авто-роутится в ENV <NAME>_FILE для docker-entrypoint.sh). Это второй фронт работы, после #27/#28.

3. Squid ловит резолв cloudflare-dns.com:443 и dns.google:443 от overlay-клиентов

22:03:32.572 1788127141.106 32 10.0.15.85 TCP_DENIED/403 3387 CONNECT cloudflare-dns.com:443
22:03:32.572 1788127141.106 22 10.0.15.85 TCP_DENIED/403 3371 CONNECT dns.google:443

10.0.15.85 — overlay-IP в hermes_infra_hermes_proxy (10.0.15.0/24). Какой-то контейнер стека пытается резолвить DNS через squid вместо docker-встроенного 127.0.0.11 — и получает 403. NO_PROXY для gateway покрывает localhost,127.0.0.1,.local,squid,hermes-gateway,hermes-agent,brencher-state-proxy,docker_socket_proxy,10.0.0.0/8, но не покрывает публичные DNS ⇒ DoH-резолверы идут через squid и упираются в dst-domain ACL.

Если гейт использует тот же resolver для Telegram API, и резолв пошёл через squid (а squid блокирует cloudflare-dns) — тогда HTTPS к api.telegram.org тоже может резаться ⇒ мы и видели Bad Gateway.

Проверить:

docker exec $(docker ps -qf name=hermes_infra_hermes-gateway) \
  sh -c 'curl -sS --max-time 3 -o /dev/null -w "%{http_code}\n" https://api.telegram.org/ || true'

Если 000 — squid режет; 200 — DNS работает; 403 — squid намеренно блокирует.

4. Дубль internal-сетей на разные стеки

Network Stack Subnet Internal Attachable
hermes_infra_hermes_proxy hermes_infra 10.0.15.0/24 true true
docker_socket_proxy_hermes_proxy docker_socket_proxy 10.0.19.0/24 true true

Не дубль (разные подсети), но факт: brencher-stack docker_socket_proxy держит .отдельный gateway с собственным squid'ом на отдельном сетевом плане. Уже занёс в PR #29 (docs/gateway-channels.md).

5. Orphan network — hermes_infra_admin (10.0.14.0/24, attachable=true) не используется

В compose сеть admin объявлена; только sarg сидит в ней. Hermes-gateway/UI/socket-proxy/squid — не подключены ⇒ сеть занимает подсеть и создаётся заново при каждом brencher-stack-deploy. За месяц таких налётов уже несколько штук. Можно либо использовать (логично), либо удалить из compose.

6. Squid ACL — избыточные поддомены (lint-warn каждый рестарт)

WARNING: '.cdn-lfs.huggingface.co' is a subdomain of '.huggingface.co'
WARNING: You should remove '.cdn-lfs.huggingface.co' from the ACL named 'stt_pkg_domains'
WARNING: '.xethub.hf.co' is a subdomain of '.hf.co'
WARNING: '.cas-server.xethub.hf.co' is a subdomain of '.hf.co'
ERROR:   This proxy does not support the 'null' cache type. Ignoring.

⇒ squid.conf имеет избыточные ACL-правила для STT-pip-доменов. Не блокирует работу, но spam. Фикс: убрать .cdn-lfs.huggingface.co, .xethub.hf.co, .cas-server.xethub.hf.co из ACL stt_pkg_domains; родительский .huggingface.co уже покрывает.

7. Squid — IPv6 pinger spam

2026/08/30 22:04:48 pinger| SendEcho ERROR: sending to ICMPv6 packet to [2a02:26f0:3380:8::5f64:f877]: (101) Network is unreachable
2026/08/31 01:11:46 pinger| ... и далее каждые 5–15 минут

squid запускает pinger на IPv6, но у контейнера нет IPv6 default route ⇒ error-loop в логе. Фикс — --disable-ipv6 либо настройка network.

8. Все squid-реплицируемые task'и exit code 137 = SIGKILL

state=exited exit=Exited (137) created=1788127015
state=exited exit=Exited (137) created=1788043859
state=exited exit=Exited (137) created=1788041495

⇒ На brencher-stack-deploy squid получает SIGKILL (137), не SIGTERM (143). В compose у squid не задано stop_grace_period ⇒ тот же риск, что мы только что зафиксировали для gateway'а (#27). Полезно расширить #27 на всех остальных сервисов стека (squid, sarg, hermes-ui, docker_socket_proxy, brencher-state-proxy).

9. gateway_state.json.start_time=220993118 — битая метрика

start_time: 220993118 — это НЕ UNIX-секунды (≈ год 1977). Скорее всего, clock-monotonic или boot_time-relative формат. Внешние тулзы могут его неверно интерпретировать. Не критично для функционирования, но интересно.

10. display.busy_input_mode: interrupt — дизайн-поведение, не bug

В /opt/data/config.yaml:

display:
  busy_input_mode: interrupt

Это та самая семантика «прерывание», которую наблюдали — новое сообщение во время активного run'а прерывает его. Не bug, это заявленная семантика Hermes (busy_input_mode: queue или busy_input_mode: reject — альтернативы в cli-reference.md).

Если поведение мешает, переключить на:

display:
  busy_input_mode: queue

После этого сообщения в активный топик будут становиться в очередь. Опциональная настройка, не фикс-баг.

11. MINIMAX провайдер — нестандартный, без описания

config.yaml.model.provider: minimax-oauth, default: MiniMax-M3. В autonomous-ai-agents/hermes-agent/references/providers-and-models.md этого провайдера нет. Похоже, что Hermes был допилен под этот провайдер (его имя попадает в system-prompt). Стоит задокументировать где-то (autonomous-ai-agents/hermes-agent/SKILL.md).

12. У brencher'а стоит DockerSwarmCheckResult раз в 5 минут на тот же diff — лишний шум

На стеке hermes_infra brencher-лог повторяет длинную секцию Diff [...] с теми же 5 сервисами (auto-6848d114-c3b71280 vs auto-007af765). Expected и actual должны выровняться после одного успешного stack-deploy — но brencher делает это раз в 5 минут, 24 раза в сутки, и пишет одно и то же. Не критично, но на каждый такой poll brencher повторно вызывает docker stack deploy, что создаёт лишний rolling-update. После #27/#28 должно устаканиться.

## Симптом В Telegram-топике сессии Hermes прерывают друг друга: пользовательское сообщение в одном топике прерывает активный run другой сессии Hermes (платформа/топик/чат одни и те же, но Hermes запустил несколько параллельных run'ов). Конкретно наблюдается в чате "Alex and InfraAlexBot" (multi-user thread), когда у пользователя одновременно открыты несколько «параллельных» разговоров с ботом. ## Что проверено - Это **не** mid-turn user steering (нет маркера `[OUT-OF-BAND USER MESSAGE …]`) — сообщения выглядят как обычные user input, попадающие в очередь нового turn. - В Telegram topic routing Hermes берёт сессии по `HERMES_SESSION_*` переменным; сами Hermes-сессии помечены как multi-user thread, и идентификация сессии у разных веток общения расходится. ## Гипотезы 1. **Один и тот же `HERMES_SESSION_*` набор переиспользуется** для разных топиков / пользователей ⇒ run'ы склеиваются, новое сообщение прерывает предыдущий run. 2. **Несколько параллельных run'ов в одной session** (например, фоновая задача / cron / инструмент с `background=True`/`notify_on_complete=True`) — новое сообщение прерывает именно ту, что на foreground, причём из-за общего локпа loop'а обе «склеиваются». 3. **Race между user-input и асинхронной доставкой** от TTS/voice/cron/delegate_task → обновление состояния сессии приходит после последнего юзерского input, и run интерпретирует это как «сообщение от пользователя прервало», отбрасывая собственный прогресс. ## Что нужно выяснить (next steps) - [ ] Снять `journalctl -u hermes* --since today` (или эквивалент) и подтвердить, что в момент прерывания был именно **новый user turn**, а не background tool result. - [ ] Найти в коде Hermes место, где несколько «ходов» могут одновременно крутиться в одной session (делегирование, фоновые процессы, TTS, воркер очереди сообщений). - [ ] Проверить, как ключуется идентификация сессии при multi-thread (по топику / по chat_id / по thread id / по Hermes session id). - [ ] Минимальный repro: два клиента в один топик, разные нити разговора; первое сообщение запускает длинный run; второе сообщение приходит в ту же секунду ⇒ на каком run'е прерывание остановилось. ## Окружение - Hermes → MiniMax-M3 (provider `minimax-oauth`), Telegram-интеграция. - Host: `odroid` (Linux 5.15), prod-свисток. - Сегодняшнее наблюдение в чате "Alex and InfraAlexBot", thread 1718. ## Связанное - Mid-turn user steering в Hermes уже штатно работает через `[OUT-OF-BAND USER MESSAGE …]` маркер — это **отдельный механизм**; бага выше — **не** про этот маркер. - USER.md / MEMORY.md предпочтения: «лучше больше тикетов» — этот тикет не дубликат существующих (по `repos/admin/*/issues?state=open` других обращений про session-interrupt не найдено). ## Зацепка от пользователя - «Получаю сообщение в телеграме» — что именно наблюдается (юзер видит входящее в Telegram-канал из рассылки/от бота/от стороннего сервиса) пока не уточнено; смысл — зафиксировать как входящий сигнал, что в этом контексте у пользователя приходят сообщения через Telegram, и это один из источников входных данных для Hermes-сессии. --- ## Расследование prod (2026-08-30, ~21:35) — что нашлось ### Что в prod - Telegram для чата `-1004417969359` и топика `:1718` живёт в стеке **`hermes_infra`** (`admin/ansible` → `hermes_squid/stack-compose.yml`), сервис `hermes-gateway`, image `nousresearch/hermes-agent:v2026.8.3`. Это тот gateway, с которым ты сейчас говоришь. - Отдельный стек `hermes` — подключён к **другому Telegram-боту** (чат `-1004355191149`). Не пересекается. - Стек `docker_socket_proxy` (тоже v2026.8.3) — gateway поднят, но `platforms={}`, ни к одному messenger не подключён. Brencher-артефакт. - Конкуренции двух gateway'ев за один чат-id **нет**. ### Лог prod-gateway (контейнер `81efa27b9ebe`) В `gateway.log` за последние сутки нет ни одного «interrupted by user message» — значит, «прерывание сессии в топике приходом нового сообщения» в нашем топике за сегодня **не воспроизводится в логах**. Что есть, и это похоже на реальную причину жалобы: 1. **`Persisted transcript lagged live cached history (disk=N, memory=N+1)` — 27 случаев на сессии Home `:16`** (на каждом `inbound message`): ``` 2026-08-30 21:06:19,836 … (disk=567, memory=568) 2026-08-30 21:11:41,627 … (disk=579, memory=580) 2026-08-30 21:13:03,796 … (disk=583, memory=584) ``` `disk=N → memory=N+1` ⇒ диск отстаёт ровно на одну запись. Персистенс транскрипта не успевает за генерацией модели. 2. **2 крупных interrupt (30.08)**: - `18:45:38 Received SIGTERM … parent_pid=148 parent_name=s6-supervise` ⇒ container-stop от s6 (НЕ brencher, НЕ scale). - `22:53` — тот же механизм; этот момент совпал с `service Spec.UpdatedAt=2026-08-29T22:53:16Z` (brencher передёрнул service spec). - После каждого: `drain timed out after 0.0s with 1 active agent(s) … interrupting remaining work` ⇒ `Scheduled auto-resume for 1 restart-interrupted session(s)`. 3. **17:19 / 17:42** — чистые exit/restart (rolling). 4. **4–5 августа** — exit-loop каждые 2 минуты, `rss_kib` от 72 до 147, `suspected_oom=False`. Симптом тот же: процесс «не отвечает» без memory-exceedance. ### Гипотеза корня `hermes-gateway` имеет memory limit **1 ГБ** (`hermes_squid/stack-compose.yml` → `deploy.resources.limits.memory: 1G`). На длинной Home-сессии модель пишет в кэш транскрипта быстрее, чем SQLite WAL/journal успевает синкать на диск ⇒ `lagged` ⇒ Docker Swarm / s6 считает процесс «не отвечает» → SIGTERM → drain 0.0s (потому что у сервиса **нет healthcheck** и stop_grace_period default 10s) → interrupt активного агента → при следующем старте auto-resume — пользователь видит «отвалилось». ### Что НЕ нашлось - Следов `OUT-OF-BAND` маркера в нашем топике — этот механизм не при делах. - Следов двух gateway'ев на одном чат-id — конкуренции за токен нет. - Следов race-condition «новое сообщение прервало активный run» (должно было оставить `superseded`/`stale`/etc.). ### Предлагаемый фикс в стеке (`admin/ansible:hermes_squid/stack-compose.yml`) 1. **`hermes-gateway.resources.limits.memory` `1G → 2G`** + **`reservations.memory` `1G → 2G`** (там же, чуть выше). Тяжёлые сессии с большим контекстом валят 1 ГБ. 2. **`hermes-gateway.resources.limits.pids` `512 → 1024`** — на сессии с `lagged` подозрительно, что Pids limit заканчивается раньше памяти. 3. **Добавить `healthcheck`** (compose секция `hermes-gateway`): ```yaml healthcheck: test: ["CMD", "python3", "-c", "import socket; s=socket.socket(); s.settimeout(2); s.connect(('127.0.0.1', 8087))"] interval: 30s timeout: 5s retries: 3 start_period: 60s ``` (порт `8087` — это dashboard/health port из env `HERMES_DASHBOARD_*`; если реальный health-endpoint другой — заменить; проверить через `hermes gateway health --connect-timeout 1` в работающем контейнере). 4. **Добавить `deploy.endpoint_mode: vip`** (уже есть), и в `TaskTemplate` секции compose — **`task.stop_grace_period: 60s`** + **`task.placement.max_attempts: 3`** (default — отсутствует ⇒ при первом же fail контейнер не рестартится корректно). 5. **`restart_policy`** уже `condition: on-failure` — оставить, но добавить `delay: 5s, max_attempts: 5` (отсутствует). ### Саб-тикеты (per user-pref «больше тикетов») - **#27** resources.memory 1G → 2G + pids 512 → 1024. - **#28** healthcheck + stop_grace_period 60s. - **#29** README в `hermes_squid/`: закрепить, что `hermes_infra` работает на prod-токене `-1004417969359`, а соседний `hermes`-стек (`-1004355191149`) — другой чат, не сливать. - **#30** recovery playbook в `hermes_squid/diagnostics/`: что делать, когда `gateway.log` начинает сыпать `Persisted transcript lagged … (possible FTS write corruption)` (диагностика и триггер для ручного вмешательства). ### Готов сделать в одном PR Все 4 пункта помещаются в один `hermes_squid/stack-compose.yml` + один `README.md` + один файл playbook. Если согласен — заведу PR (single-purpose, ready to test on prod). Размер diff = ~40 строк, никаких внешних зависимостей. Деплой через brencher-stack-update, откат — `docker service rollback`. ### Env - Prod-host: `odroid` (Linux 5.15). Stack `hermes_infra` / service `hermes-gateway`. - Compose path: `admin/ansible/hermes_squid/stack-compose.yml`. - Image pin: `nousresearch/hermes-agent:v2026.8.3` (compose); running container — image revision `3c27eb62…`. - Service-ID swarm: `vk9xj8rsqskjx6lvl0drjlhfy`. Task-ID после 18:45Z: `tk0a3uspxjzj1btgkv36aqbpx` (свежий task живёт здесь). --- ## Зацепки #2 (после развертывания PR #27 через brencher-stack deploy на 22:03Z) ### 1. Прямая причина «бот перестал отвечать» Из `gateway.log` контейнера `b70a6cd958ac…` записано (см. сегмент `22:04:40 → 22:06:17`, плюс после полуночи): ``` 22:04:40 WARNING agent.auxiliary_client: resolve_provider_client: nous requested but Nous Portal not configured 22:04:40 WARNING Auxiliary: marking openrouter unhealthy for 60s (payment / credit error) 22:04:40 WARNING Auxiliary: marking nous unhealthy for 60s (payment / credit error) 22:05:13 WARNING Tool memory returned error — "Memory at 1,009/1,375 chars. Adding this entry would exceed the limit" 22:05:23 WARNING agent.relay_runtime: Hermes Relay turn finalization failed 22:05:23 RuntimeError: invalid argument: scope handle is not at the top of the stack 22:05:32 WARNING Tool memory returned error — "Memory at 4,345/4,400 chars..." 22:05:41 WARNING Tool memory returned error — "'replace' needs old_text" 22:06:17 WARNING Tool execute_code returned error (script.py line 16 SyntaxError) 01:11:46 ERROR [Telegram] Telegram network error ... scheduling reconnect: Bad Gateway 01:11:46 WARNING [Telegram] updater.stop() timed out during network-error reconnect 01:12:27 ERROR telegram.ext: Network Retry Loop (Bootstrap delete Webhook): Timed out 01:12:27 telegram.error.TimedOut: Timed out 01:12:27 WARNING [Telegram] Telegram polling reconnect failed: Timed out ``` ⇒ Таймлайн: brencher-stack deploy принёс compose из `feat/docker-socket-proxy-readonly` (sha `auto-007af765`); SIGTERM на старый контейнер `81efa27…`; drain +0.63s (clean); lifecycle-классификация UNCLEANLY (s6 не отдал clean exit-code). 22:04:13 — старт нового `b70a6cd958ac…`. На старте 2 активные сессии (Home :16 и топик :114) авто-возобновились. 22:04:40 — основные провайдеры помечены unhealthy (Nous Portal not configured, openrouter по payment error). 22:05:13–22:06:17 — несколько side-effecting tools (memory, execute_code, hermes-relay) вернули ошибки; run не упал, но финализация turn'а сломалась в scope-handle. 01:11:46–01:12:27 — **настоящий «бот перестал отвечать»**: Telegram-polling пошёл в retry-loop `Bad Gateway` → `Timed out` на deleteWebhook; `updater.stop()` зависло ⇒ бот не принимает/шлёт до исчерпания retry-лимита. Что вызвало Bad Gateway — помогут проверить squid-метрики (см. ниже). ### 2. Telegram-токен живёт PLAINTEXT в `/opt/data/.env` (на volume) ``` GITEA_PASSWORD=... GITEA_TOKEN=... TELEGRAM_BOT_TOKEN=8621583632:AAA... TELEGRAM_ALLOWED_USERS=105762863 TELEGRAM_HOME_CHANNEL=-1004417969359 TELEGRAM_HOME_CHANNEL_THREAD_ID=1 ``` ⇒ **Telegram-токен, Gitea-password, Gitea-token — все три в plain text** на persist volume: - Любой `docker exec … sh` внутри gateway'a логически их отдаёт. - Любой http-запрос `GET /containers/{id}/archive?path=/opt/data/.env` отдаёт их через socket-proxy (proxy разрешает `POST=0` но `archive?path=…` — read-only path, не контролируемый). - Утекают в `/proc/<pid>/environ` любого дочернего процесса. - При `docker inspect --format='{{.Config.Env}}'` НЕ отдаются (тут чисто), но `/opt/data/.env` всё равно plain file. - bot-token имеет full takeover Telegram-бота ⇒ **самый серьёзный риск в стеке**. Минимальный фикс — перенести в `docker secret` (`type=file`, секрет маунтится в `/run/secrets/<name>` и авто-роутится в ENV `<NAME>_FILE` для `docker-entrypoint.sh`). Это **второй фронт работы, после #27/#28**. ### 3. Squid ловит резолв `cloudflare-dns.com:443` и `dns.google:443` от overlay-клиентов ``` 22:03:32.572 1788127141.106 32 10.0.15.85 TCP_DENIED/403 3387 CONNECT cloudflare-dns.com:443 22:03:32.572 1788127141.106 22 10.0.15.85 TCP_DENIED/403 3371 CONNECT dns.google:443 ``` `10.0.15.85` — overlay-IP в `hermes_infra_hermes_proxy` (10.0.15.0/24). Какой-то контейнер стека пытается резолвить DNS через squid вместо docker-встроенного `127.0.0.11` — и получает 403. NO_PROXY для gateway покрывает `localhost,127.0.0.1,.local,squid,hermes-gateway,hermes-agent,brencher-state-proxy,docker_socket_proxy,10.0.0.0/8`, но **не покрывает публичные DNS** ⇒ DoH-резолверы идут через squid и упираются в dst-domain ACL. Если гейт использует тот же resolver для Telegram API, и резолв пошёл через squid (а squid блокирует cloudflare-dns) — тогда HTTPS к `api.telegram.org` тоже может резаться ⇒ мы и видели `Bad Gateway`. Проверить: ``` docker exec $(docker ps -qf name=hermes_infra_hermes-gateway) \ sh -c 'curl -sS --max-time 3 -o /dev/null -w "%{http_code}\n" https://api.telegram.org/ || true' ``` Если `000` — squid режет; `200` — DNS работает; `403` — squid намеренно блокирует. ### 4. Дубль internal-сетей на разные стеки | Network | Stack | Subnet | Internal | Attachable | |---|---|---|---|---| | `hermes_infra_hermes_proxy` | `hermes_infra` | `10.0.15.0/24` | true | true | | `docker_socket_proxy_hermes_proxy` | `docker_socket_proxy` | `10.0.19.0/24` | true | true | Не дубль (разные подсети), но факт: brencher-stack `docker_socket_proxy` держит **.отдельный gateway с собственным squid'ом** на отдельном сетевом плане. Уже занёс в PR #29 (`docs/gateway-channels.md`). ### 5. Orphan network — `hermes_infra_admin` (10.0.14.0/24, attachable=true) не используется В compose сеть `admin` объявлена; только `sarg` сидит в ней. Hermes-gateway/UI/socket-proxy/squid — **не подключены** ⇒ сеть занимает подсеть и создаётся заново при каждом brencher-stack-deploy. За месяц таких налётов уже несколько штук. Можно либо использовать (логично), либо удалить из compose. ### 6. Squid ACL — избыточные поддомены (lint-warn каждый рестарт) ``` WARNING: '.cdn-lfs.huggingface.co' is a subdomain of '.huggingface.co' WARNING: You should remove '.cdn-lfs.huggingface.co' from the ACL named 'stt_pkg_domains' WARNING: '.xethub.hf.co' is a subdomain of '.hf.co' WARNING: '.cas-server.xethub.hf.co' is a subdomain of '.hf.co' ERROR: This proxy does not support the 'null' cache type. Ignoring. ``` ⇒ `squid.conf` имеет избыточные ACL-правила для STT-pip-доменов. Не блокирует работу, но spam. Фикс: убрать `.cdn-lfs.huggingface.co`, `.xethub.hf.co`, `.cas-server.xethub.hf.co` из ACL `stt_pkg_domains`; родительский `.huggingface.co` уже покрывает. ### 7. Squid — IPv6 pinger spam ``` 2026/08/30 22:04:48 pinger| SendEcho ERROR: sending to ICMPv6 packet to [2a02:26f0:3380:8::5f64:f877]: (101) Network is unreachable 2026/08/31 01:11:46 pinger| ... и далее каждые 5–15 минут ``` squid запускает pinger на IPv6, но у контейнера нет IPv6 default route ⇒ error-loop в логе. Фикс — `--disable-ipv6` либо настройка network. ### 8. Все squid-реплицируемые task'и exit code 137 = SIGKILL ``` state=exited exit=Exited (137) created=1788127015 state=exited exit=Exited (137) created=1788043859 state=exited exit=Exited (137) created=1788041495 ``` ⇒ На brencher-stack-deploy squid **получает SIGKILL (137)**, не SIGTERM (143). В compose у `squid` не задано `stop_grace_period` ⇒ тот же риск, что мы только что зафиксировали для gateway'а (#27). Полезно расширить #27 на всех остальных сервисов стека (squid, sarg, hermes-ui, docker_socket_proxy, brencher-state-proxy). ### 9. `gateway_state.json.start_time=220993118` — битая метрика `start_time: 220993118` — это **НЕ UNIX-секунды** (≈ год 1977). Скорее всего, clock-monotonic или boot_time-relative формат. Внешние тулзы могут его **неверно интерпретировать**. Не критично для функционирования, но интересно. ### 10. `display.busy_input_mode: interrupt` — дизайн-поведение, не bug В `/opt/data/config.yaml`: ``` display: busy_input_mode: interrupt ``` Это **та самая семантика «прерывание»**, которую наблюдали — новое сообщение во время активного run'а прерывает его. Не bug, это заявленная семантика Hermes (`busy_input_mode: queue` или `busy_input_mode: reject` — альтернативы в `cli-reference.md`). Если поведение мешает, переключить на: ```yaml display: busy_input_mode: queue ``` После этого сообщения в активный топик будут становиться в очередь. **Опциональная настройка, не фикс-баг.** ### 11. `MINIMAX` провайдер — нестандартный, без описания `config.yaml.model.provider: minimax-oauth`, `default: MiniMax-M3`. В `autonomous-ai-agents/hermes-agent/references/providers-and-models.md` этого провайдера **нет**. Похоже, что Hermes был допилен под этот провайдер (его имя попадает в system-prompt). Стоит задокументировать где-то (`autonomous-ai-agents/hermes-agent/SKILL.md`). ### 12. У brencher'а стоит `DockerSwarmCheckResult` раз в 5 минут на тот же diff — лишний шум На стеке `hermes_infra` brencher-лог **повторяет** длинную секцию `Diff [...]` с теми же 5 сервисами (`auto-6848d114-c3b71280` vs `auto-007af765`). Expected и actual должны выровняться после одного успешного stack-deploy — но brencher делает это раз в 5 минут, 24 раза в сутки, и пишет одно и то же. Не критично, но **на каждый такой poll brencher повторно вызывает `docker stack deploy`**, что создаёт лишний rolling-update. После #27/#28 должно устаканиться.
Sign in to join this conversation.
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: admin/ansible#26