VictoriaMetrics: оптимизация хранения метрик через разделение и агрегацию

В статье описан опыт оптимизации хранения метрик в open-source VictoriaMetrics без использования коммерческой опции Multi Retention. Основная задача — сократить издержки хранения данных при необходимости оперативного мониторинга и долгосрочного хранения метрик за 180 дней. Решение основано на разделении потоков: сырые метрики хранятся 30 дней (объем ~700–800 ГБ), агрегированные с 5-минутным интервалом — 180 дней (объем ~250–300 ГБ). Это позволило снизить общий объем storage с 3 ТБ до 2 ТБ.

  • Использованы отдельные кластеры для сырых (RAW) и агрегированных (AGGR) метрик с независимой масштабируемостью компонентов.
  • Сбор, агрегация и маршрутизация данных реализованы с помощью набора vmagent/vminsert/vmstorage/vmselect, централизованного gateway и ряда Helm-чартов.
  • Преимущества подхода — экономия хранилища, гибкость и сохранение детализации для анализа инцидентов, построение долгосрочных трендов без “раздувания” объема.
  • К минусам — усложнение инфраструктуры, дополнительная поддержка агентов, риск разрыва цепочки данных, частичная потеря детализации при агрегации.

В целом архитектура позволила реализовать баланс между cost-efficiency, гибкостью и производительностью без перехода на Enterprise-версию. Сценарий подходит для проектов, где требуется быстрый мониторинг и одновременное длительное хранение агрегированных данных.

← Назад в лентуЧитать оригинал →
✈️ Подписывайтесь на мой Telegram-канал — там еще больше интересного про AdTech, MarTech, AI и многое другое!