Как из готовых инструментов сделать систему на петабайт данных: рецепт счастья для разработчиков и бизнеса
AGIMA показала, как собрать производственную систему обработки «тяжёлого» видео без фанатизма по железу и с соблюдением КИИ/импортозамещения. Исходно поток с 20 камер (10 высокоскоростных + 10 глубины) давал до петабайта в сутки: сами камеры генерируют ~6400 fps, для аналитики требовалось 40 fps на камеру и не менее 20 fps к обработке. Бизнес-показатели: допуск 10% к данным метрологии (раз в 12 часов), допустимая задержка обработки 30 минут, реальная нагрузка — до 3 пользователей.
Архитектура: Apache NiFi (low-code оркестрация потоков, back-pressure, JOLT, кластерный режим через ZooKeeper), MinIO для образов, ClickHouse/БД, Grafana (RBAC, уже есть у завода) — всё на bare-metal в изолированном цехе («нет интернета — нет проблем»). Требования ИБ: 187-ФЗ (КИИ), приказы ФСТЭК №17/22; для импортозамещения допустимы совместимые решения на базе NiFi.
- Оптимизация: ограничение кадров/отбор релевантных снимков, отказ от кластера MinIO, упор на RAID SSD — итоговый объём ≈300 ТБ/сутки вместо 1 ПБ.
- Производственная топология: ~10 нод NiFi, диско-ориентированный профиль ресурсов.
- Экономика: изначальный сайзинг «железа» оказался дороже разработки в ~3 раза; после ревизии требований и архитектурного форкаста кост снизили.
- Вывод: формализация представлений (Context/Logical/NFR/Security/Physical/Operational) переводит «хотелки» в измеримые требования и даёт управляемую HighLoad-схему.
Читайте также
Lamoda запускает «Г(ии)д по стилю» для онлайн-примерки вещей
«Вам нужны партнеры, а не подрядчики»: как запустить ИИ-проект, который принесет реальную пользу бизнесу
Ретроспектива 2025: год LLM — практика, иллюзия и реальные сдвиги
Агентные системы для продакшена
Кейс «АДВ+Эндемика» и Arena: как точная настройка ТВ-кампаний повысила трафик на 11%
- Шаблон архитектурных представлений для data-систем: Эффективно фиксировать требования и границы помогает полный набор представлений: Context, Logical (C4-1/2), Non-Functional, Security, Physical (deployment), Operational. Такой шаблон снижает «хотелки», ускоряет согласования и упрощает перенос архитектуры между проектами.
[процесс]
Зарегистрированные пользователи видят только два тезиса.
Зарегистрироваться