Как из готовых инструментов сделать систему на петабайт данных: рецепт счастья для разработчиков и бизнеса

AGIMA показала, как собрать производственную систему обработки «тяжёлого» видео без фанатизма по железу и с соблюдением КИИ/импортозамещения. Исходно поток с 20 камер (10 высокоскоростных + 10 глубины) давал до петабайта в сутки: сами камеры генерируют ~6400 fps, для аналитики требовалось 40 fps на камеру и не менее 20 fps к обработке. Бизнес-показатели: допуск 10% к данным метрологии (раз в 12 часов), допустимая задержка обработки 30 минут, реальная нагрузка — до 3 пользователей.

Архитектура: Apache NiFi (low-code оркестрация потоков, back-pressure, JOLT, кластерный режим через ZooKeeper), MinIO для образов, ClickHouse/БД, Grafana (RBAC, уже есть у завода) — всё на bare-metal в изолированном цехе («нет интернета — нет проблем»). Требования ИБ: 187-ФЗ (КИИ), приказы ФСТЭК №17/22; для импортозамещения допустимы совместимые решения на базе NiFi.

  • Оптимизация: ограничение кадров/отбор релевантных снимков, отказ от кластера MinIO, упор на RAID SSD — итоговый объём ≈300 ТБ/сутки вместо 1 ПБ.
  • Производственная топология: ~10 нод NiFi, диско-ориентированный профиль ресурсов.
  • Экономика: изначальный сайзинг «железа» оказался дороже разработки в ~3 раза; после ревизии требований и архитектурного форкаста кост снизили.
  • Вывод: формализация представлений (Context/Logical/NFR/Security/Physical/Operational) переводит «хотелки» в измеримые требования и даёт управляемую HighLoad-схему.
Ключевые инсайты из новости (по версии ChatGPT)
  • Шаблон архитектурных представлений для data-систем: Эффективно фиксировать требования и границы помогает полный набор представлений: Context, Logical (C4-1/2), Non-Functional, Security, Physical (deployment), Operational. Такой шаблон снижает «хотелки», ускоряет согласования и упрощает перенос архитектуры между проектами.
    [процесс]
Для получения полного доступа оформите подписку PubMag PRO.
Зарегистрированные пользователи видят только два тезиса.
Зарегистрироваться
Инсайты автоматически генерируются с помощью искусственного интеллекта на основе текста статьи.
← Назад в лентуЧитать оригинал →
✈️ Подписывайтесь на мой Telegram-канал — там еще больше интересного про AdTech, MarTech, AI и многое другое!