В Surf QA внедрили автоматизацию рутинных задач тестирования с помощью LLM и скриптового конвейера, что позволило сократить время на подготовку и оформление тестов в 5 раз. Процесс строится вокруг автоматического сбора данных из Figma, Confluence, Swagger и генерации компонентных и сценарных тестов в строгом корпоративном формате через LLM. Итоговая система позволяет QA-инженерам тратить время на исследовательские задачи и проработку сложных сценариев, а не на копипаст и ручное оформление — метрики показывают сокращение ручного времени на компонентные проверки с 13–15 до 2 часов, а на сценарные — с 4–6 до 1 часа (на 3 фичах, 61 компонентном и 34 сценарных тестах).

MVP инструмента был собран всего за 60 часов с помощью микроитераций и API-first-подхода: ключевые процессы автоматизированы скриптами, управление параметрами централизовано через config.py и RUNBOOK, прямой фронтенд не реализован для ускорения вывода. Для повышения качества результата применяют многоступенчатое ревью (таск-листы, peer-review через LLM, ручная валидация), а все правила генерации и шаблоны тестов жестко задаются в промптах, что обеспечивает совместимость и стандартизацию. Основные ограничения — риск недостаточного покрытия, ошибки генерации и вопросы NDA, которые решаются соответствующими процессами и выбором инструментов.

Дальнейшее развитие включает расширение поддержки сложных функций (геолокация, пуши, диплинки), улучшение параллельной обработки данных и создание поддерживаемых датасетов типовых ошибок.