В статье рассмотрен практический кейс организации полного ETL-процесса на виртуальном сервере с использованием связки Apache Airflow, ClickHouse и Superset. Автор использует готовое решение от Beget с предустановленными Superset и Airflow, что позволяет сосредоточиться именно на обработке и визуализации данных.

В качестве примера описан процесс парсинга и анализа данных о роботах-пылесосах с сайта Wildberries: сбор данных реализован на Python с помощью Selenium и BeautifulSoup, а обработка включает очистку и структурирование характеристик, их нормализацию и агрегацию. Вся обработка разбита на три этапа (tasks) внутри DAG Airflow: извлечение, трансформация и загрузка. Результирующие данные попадают в ClickHouse, где их можно анализировать с помощью BI-инструмента Superset.

Отдельное внимание уделено нюансам настройки среды: создание кастомного Docker-образа для Airflow с нужными зависимостями, типовой структуре окружения (webserver, scheduler, workers, база, message broker) и обмену данными между тасками через XCom (JSON-формат).

Показаны примеры обработки признаков с различными единицами измерения, автоматизация скрапинга, подходы к очистке от нерелевантных позиций, а также загрузка в ClickHouse с последующей визуализацией данных через Superset. Отмечена прозрачность и контроль исполнения, а также возможности гибкой аналитики без необходимости в написании фронтенда.

Публикация актуальна для технических специалистов, занимающихся автоматизацией сбора и анализа маркетплейс-данных, а также для команд, выстраивающих собственные аналитические пайплайны на opensource-инструментах.