Статья описывает автоматизацию деплоя аналитической платформы для сбора и обработки спортивных данных (NFL, NBA, UFC) с нестабильного API dingerodds. Исходно API был нестабилен и падал при малейших нагрузках, срабатывали undocumented rate-limits (429 после 60 запросов/мин), отсутствовали webhooks, приходилось реализовать обходные решения для неконсистентного JSON.

Архитектура включает Python-обёртку с retry и circuit breaker, конкурентные запросы через asyncio, прокси-пулы, логирование и алерты через Loki и Telegram, автоматизацию CI/CD (GitLab, Docker, Helm, Kubernetes), секреты через sealed-secrets и масштабирование через Horizontal Pod Autoscaler (CPU > 70%). Данные хранятся в MinIO в формате Parquet, агрегация идёт через Dask, а переобучение моделей запускается каждые 6 часов cronjob-ом.

Мониторинг реализован на Prometheus и Grafana, алерты — в Telegram. После внедрения система достигла аптайма >99.95% (до этого было ~85%), обновление данных — каждые 5 минут, задержка ETL < 2 минут. В планах — переход на pub/sub, внедрение Redis и Kafka, а также дельта-озеро для версионирования данных. Ключевой вывод — для нестабильных API нужна собственная прослойка с буферизацией, ретраями и защитой от ошибок источника.