Механика простая: после завершения задачи скрипт вызывает уникальный heartbeat-URL, а сервер сохраняет время последнего ping. Для каждого монитора задаются interval_sec и grace_sec; если новый ping не пришёл в окно interval + grace_period, состояние переводится в down и открывается incident. Для daily-job примерное окно составляет около 25 часов: если задача должна была отработать в 04:00, к 05:00 следующего дня уже можно алёртить.

Серверная часть строится вокруг модели HeartbeatMonitor, endpoint на FastAPI принимает GET или POST по токену, записывает ping, учитывает exit code и закрывает или открывает incident. Фоновая задача в Celery каждую минуту проверяет overdue heartbeats: берёт последний ping, прибавляет ожидаемый интервал и grace period, а затем сравнивает deadline с текущим временем.

На клиенте базовый вариант — curl после успешного выполнения команды, но для production полезнее передавать exit code, делать start/end pings и использовать wrapper-утилиту, которая сама запускает команду, собирает stdout/stderr и отправляет метаданные. Ложные срабатывания чаще всего дают слишком короткий grace period, рост времени выполнения backup, сетевые сбои, timezone drift и disk full, поэтому автор предлагает retry для curl, UTC в cron и запас по max_duration минимум 3× от среднего.