Как в Авито обеспечивают self-service разработки и деплоя витрин

описывает, как перевёл DWH в режим self-service, когда бизнес-пользователи сами создают витрины, аплоадеры и словари без участия data-инженеров. Витрина оформляется как единый SQL-файл с YAML-шапкой, DDL и DML в Bitbucket, а регламент представлен ацикличным графом витрин, который раз в сутки запускает обновление данных от корня к листьям.

Ключевая роль отведена автоматизации: бот обрабатывает pull request'ы командами dwh test и dwh merge, прогоняя более сотни проверок — от синтаксиса, перформанса и влияния на граф до прав доступа к чужим витринам и автогенерации миграций при изменении DDL. Благодаря этому DWH с 11-летней историей поддерживает 4500 пользователей и свыше 4500 витрин (из них более 900 критичных), обрабатывая более 30 тыс. задач в сутки при участии ~660 авторов витрин.

TTM деплоя минорной витрины около минуты, крупных объектов — до часа, при этом свыше 90% пользовательских PR обрабатываются без участия инженеров. В планах команды — дать пользователям возможность точечно редактировать данные в витринах, вынести систему тестов в отдельную платформу с API, а также интегрировать проверки в единую IDE для работы с DWH, делая пользователей максимально автономными.

Читайте также

  1. Если данные — продукт, то какова цена плохого UX? Предлагаю систему оценок
  2. Миллениал и вайб-кодинг: как я делаю ИИ-анализатор новостей по инструкциям ChatGPT (Часть 3) + демо
  3. Мой опыт настройки и использования ИИ-инструментов в разработке
  4. Как аналитик может повлиять на процессы и продукты: выстраивание системы работы с инициативами
  5. Идеально размещённые тултипы: по углам
Ключевые инсайты из новости (по версии ChatGPT)
  • Self-service DWH через git и SQL-файлы: Авито перевёл работу с витринами DWH в self-service: бизнес-пользователи сами создают витрины, аплоадеры и словари в виде SQL-файлов в git-репозитории. Это позволяет масштабировать число объектов хранилища быстрее, чем растёт команда data-инженеров, при этом все изменения идут через единый контролируемый поток pull request'ов.
    [процесс]
Для получения полного доступа оформите подписку PubMag PRO.
Зарегистрированные пользователи видят только два тезиса.
Зарегистрироваться
Инсайты автоматически генерируются с помощью искусственного интеллекта на основе текста статьи.
← Назад в лентуЧитать оригинал →
✈️ Подписывайтесь на мой Telegram-канал — там еще больше интересного про AdTech, MarTech, AI и многое другое!