feat(monitoring): add prod-monitor watchdog role #36

Open
hermes wants to merge 1 commits from hermes/ansible:feat/monitoring-prod-watchdog into master
Contributor

Что

Добавляет роль monitoring с watchdog-скриптом monitor_prod.sh для тихих cron-проверок prod-окружения.

Что внутри

  • roles/monitoring/files/monitor_prod.sh — сам скрипт (7 проверок)
  • roles/monitoring/defaults/main.yml — пороги через переменные
  • roles/monitoring/tasks/main.yml — установка файла в /usr/local/bin/monitor_prod.sh
  • roles/monitoring/handlers/main.yml — bash syntax verify
  • roles/monitoring/meta/ — galaxy metadata

Проверки

  1. Swarm ping (/_ping → OK)
  2. Все 5 сервисов hermes_infra_* running (squid, sarg, hermes-ui, hermes-gateway, docker_socket_proxy)
  3. Restart flapping: ни одна running task с RestartCount > 3
  4. Failed/rejected tasks в swarm
  5. brencher: живой running контейнер с логом ≤ 10 мин назад
  6. Диск /opt/data < 90%
  7. Memory MemAvailable > 512 MB

Silence contract

stdout пустой → ничего. Любой провал → один alert со списком проваленных проверок.

Статус

  • Скрипт уже работает как cron job prod-monitor (id 4ebfb853ea68) каждые 5 минут против docker_socket_proxy:2375.
  • Роль пока только поставляет файл — systemd/cron wiring на remote остаётся за caller-ом (follow-up).

Проверено локально

  • bash -n syntax check — OK
  • dry-run на живом proxy: silent (все 7 проверок passed)
  • failure injection (bad proxy): все 7 проблем корректно выведены

Не мёржу сам

Жду твоего "смержил/задеплою".

## Что Добавляет роль `monitoring` с watchdog-скриптом `monitor_prod.sh` для тихих cron-проверок prod-окружения. ## Что внутри - `roles/monitoring/files/monitor_prod.sh` — сам скрипт (7 проверок) - `roles/monitoring/defaults/main.yml` — пороги через переменные - `roles/monitoring/tasks/main.yml` — установка файла в `/usr/local/bin/monitor_prod.sh` - `roles/monitoring/handlers/main.yml` — bash syntax verify - `roles/monitoring/meta/` — galaxy metadata ## Проверки 1. Swarm ping (`/_ping` → `OK`) 2. Все 5 сервисов `hermes_infra_*` running (squid, sarg, hermes-ui, hermes-gateway, docker_socket_proxy) 3. Restart flapping: ни одна running task с `RestartCount > 3` 4. Failed/rejected tasks в swarm 5. brencher: живой running контейнер с логом ≤ 10 мин назад 6. Диск `/opt/data` < 90% 7. Memory `MemAvailable > 512 MB` ## Silence contract stdout пустой → ничего. Любой провал → один alert со списком проваленных проверок. ## Статус - Скрипт уже работает как cron job `prod-monitor` (id `4ebfb853ea68`) каждые 5 минут против `docker_socket_proxy:2375`. - Роль пока только поставляет файл — systemd/cron wiring на remote остаётся за caller-ом (follow-up). ## Проверено локально - `bash -n` syntax check — OK - dry-run на живом proxy: silent (все 7 проверок passed) - failure injection (bad proxy): все 7 проблем корректно выведены ## Не мёржу сам Жду твоего "смержил/задеплою".
hermes force-pushed feat/monitoring-prod-watchdog from 8b82818d1e to 3920de1a07 2026-09-05 12:41:11 +02:00 Compare
hermes added 1 commit 2026-09-05 13:12:56 +02:00
Adds roles/monitoring with monitor_prod.sh — silent cron watchdog that
checks hermes_infra services, restart flapping, failed tasks, brencher
liveness, disk and memory. Stdout empty when healthy; non-empty when any
check fails (delivered as a single Telegram alert by cron no_agent job).

Script is already running as cron job 'prod-monitor' (id 4ebfb853ea68)
every 5m against docker_socket_proxy:2375. Role currently only ships
the file; cron wiring on remote is the caller's responsibility until a
follow-up adds a systemd/cron task.
hermes force-pushed feat/monitoring-prod-watchdog from 3920de1a07 to 00865149cf 2026-09-05 13:12:56 +02:00 Compare
Checking for merge conflicts…
View command line instructions

Checkout

From your project repository, check out a new branch and test the changes.
git fetch -u https://gitea.rudolf.keenetic.link/hermes/ansible feat/monitoring-prod-watchdog:hermes-feat/monitoring-prod-watchdog
git checkout hermes-feat/monitoring-prod-watchdog
Sign in to join this conversation.
No Reviewers
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: admin/ansible#36