Как я пытался сделать нейросеть аналитиком: провалы и уроки
Автор протестировал LLM (GPT-5 через API) как «аналитика» в начале 2025 года. Источники: 
Google Analytics, Amplitude, Jira, Slack, внутренние CSV. Цели: автоматизация еженедельных/ежемесячных отчётов, поиск аномалий и генерация гипотез роста. Итог первых недель — провал ожиданий: модель отлично пишет тексты, но фантазирует факты (например, «рост DAU на 12%» без оснований), путает столбцы и агрегаты (среднее вместо медианы), не понимает бизнес-контекст.
Ошибки применения: рекомендации вне стратегии (совет увеличить B2C-бюджет при вкладе сегмента в 5% выручки), перегрузка задачами (анализ Jira/логов породил дубли и неверные приоритеты), разочарование команды из-за расхождений с реальностью.
Исправления: жёсткий препроцессинг и схемы данных, поэтапные запросы (например: «сравни DAU за 4 недели и выдели падения >15%»), обязательная верификация человеком. Роль ИИ смещена к ассистенту — шаблоны отчётов, формулировки выводов, структура презентаций.
- Инструменты: GA, Amplitude, Jira, Slack, CSV; модель — GPT-5 API.
- Ключевые цифры: «12%» — пример галлюцинации; «5%» — доля выручки B2C; «>15%» — порог тревоги в пошаговых запросах.
- Уроки: LLM не замещает эксперта; решает рутину при качественно подготовленных данных; начинать с пилотов и управлять ожиданиями.
Читайте также
Перформанс-маркетинг для начинающих- Способы сегментации партнёрской сети для развития канальных продаж в IT
Сообщество Adtech Chat укрепляет позиции благодаря спонсорству pubX и Voise Tech- Skills: что это и как использовать в Cursor и Claude Code
Почему бинарные решения по аудитории не подходят для агентной эры
- LLM в аналитике: роль ассистента: Генеративные модели полезны для черновиков отчётов, резюме и оформления презентаций, но не должны выступать источником числовой истины. Расчёты и агрегации остаются в BI/DWH, а LLM — надстройка для интерпретации и ускорения коммуникации.
[Процесс]
Зарегистрированные пользователи видят только два тезиса.
Зарегистрироваться