Как в Авито обеспечивают self-service разработки и деплоя витрин
Авито описывает, как перевёл DWH в режим self-service, когда бизнес-пользователи сами создают витрины, аплоадеры и словари без участия data-инженеров. Витрина оформляется как единый SQL-файл с YAML-шапкой, DDL и DML в Bitbucket, а регламент представлен ацикличным графом витрин, который раз в сутки запускает обновление данных от корня к листьям.
Ключевая роль отведена автоматизации: бот обрабатывает pull request'ы командами dwh test и dwh merge, прогоняя более сотни проверок — от синтаксиса, перформанса и влияния на граф до прав доступа к чужим витринам и автогенерации миграций при изменении DDL. Благодаря этому DWH с 11-летней историей поддерживает 4500 пользователей и свыше 4500 витрин (из них более 900 критичных), обрабатывая более 30 тыс. задач в сутки при участии ~660 авторов витрин.
TTM деплоя минорной витрины около минуты, крупных объектов — до часа, при этом свыше 90% пользовательских PR обрабатываются без участия инженеров. В планах команды — дать пользователям возможность точечно редактировать данные в витринах, вынести систему тестов в отдельную платформу с API, а также интегрировать проверки в единую IDE для работы с DWH, делая пользователей максимально автономными.
Читайте также
Создаём пет-проект по аналитике с GitHub Actions: часть 2
Создание максимально стабильной автоматизированной торговой системы: от бэктеста до реального бота
Тестовый стенд с автономным ИИ-агентом QA для тестирования бэкенда: концепция и пример
«Вам нужны партнеры, а не подрядчики»: как запустить ИИ-проект, который принесет реальную пользу бизнесу
Лучшие практики работы с агентами для написания кода
- Self-service DWH через git и SQL-файлы: Авито перевёл работу с витринами DWH в self-service: бизнес-пользователи сами создают витрины, аплоадеры и словари в виде SQL-файлов в git-репозитории. Это позволяет масштабировать число объектов хранилища быстрее, чем растёт команда data-инженеров, при этом все изменения идут через единый контролируемый поток pull request'ов.
[процесс]
Зарегистрированные пользователи видят только два тезиса.
Зарегистрироваться