Автор протестировал LLM (GPT-5 через API) как «аналитика» в начале 2025 года. Источники: Google Analytics, Amplitude, Jira, Slack, внутренние CSV. Цели: автоматизация еженедельных/ежемесячных отчётов, поиск аномалий и генерация гипотез роста. Итог первых недель — провал ожиданий: модель отлично пишет тексты, но фантазирует факты (например, «рост DAU на 12%» без оснований), путает столбцы и агрегаты (среднее вместо медианы), не понимает бизнес-контекст.

Ошибки применения: рекомендации вне стратегии (совет увеличить B2C-бюджет при вкладе сегмента в 5% выручки), перегрузка задачами (анализ Jira/логов породил дубли и неверные приоритеты), разочарование команды из-за расхождений с реальностью.

Исправления: жёсткий препроцессинг и схемы данных, поэтапные запросы (например: «сравни DAU за 4 недели и выдели падения >15%»), обязательная верификация человеком. Роль ИИ смещена к ассистенту — шаблоны отчётов, формулировки выводов, структура презентаций.

• Инструменты: GA, Amplitude, Jira, Slack, CSV; модель — GPT-5 API.
• Ключевые цифры: «12%» — пример галлюцинации; «5%» — доля выручки B2C; «>15%» — порог тревоги в пошаговых запросах.
• Уроки: LLM не замещает эксперта; решает рутину при качественно подготовленных данных; начинать с пилотов и управлять ожиданиями.