Доклад Дмитрия Погорелова объясняет, как Дзен стал базой рекомендаций ВК: от монолита к масштабируемой RTD-платформе. Ключевой вызов — real-time и сетевые пределы: при 20k кандидатов × ~10 KB × 10k rps потребовалось бы гонять ~2 ТБ/с, поэтому вектора/счётчики хранят рядом с вычислениями.

• 2017: джава-монолит (40 GB), ≤2 млн документов, ~600 мс; Cassandra для истории; единая точка падений.
• 2020: шардирование по типам контента (видео/клипы/посты), отдельный блендер; App-host для маршрутизации между микросервисами; латентность ~400 мс; независимые зоны разработки.
• 2023: индекс 60 млн «якорей» × 300 кандидатов (~140 GB); шардирование рекомендеров по кандидатам с рассылкой только шард-локальной пользовательской информации; graceful degradation до 50% без заметной боли; латентность ~190 мс; масштаб до 50 млн видео.
• 2024: near-real-time эмбеддинги и счётчики; перенос во ВК: старт с VK Видео, +80% TVT к старому движку, затем Лента; рост RPS/базы — переход к шардированию по авторам.
• 2025 (PML): «бесконечная» база для doc2doc: увеличение шардов 8→32 не даёт качества из-за распила candidate-generator’ов — их выносят отдельно; независимые индексы масштабируют без потери сравнений; технология унифицирована уже для 10+ продуктов ВК.

Итог: эволюция от монолита к шардированной RTD-архитектуре с унифицированной логистикой запросов, локальностью векторов и управляемой деградацией качества ради пропускной способности.