Большие языковые модели избыточны для некоторых маркетинговых задач. На смену приходят малые модели
Малые языковые модели ZeroGPU содержат менее 10 млрд параметров и обучаются под конкретную функцию, а не на максимально широком корпусе данных. Они могут работать на обычных центральных процессорах и даже в браузере, поэтому требуют меньше вычислительных ресурсов, чем крупные модели, зависящие от дорогостоящих GPU.
Dappier внедрила три модели: для классификации контента, распознавания коммерческого намерения и brand safety. По словам компании, переход помог снизить совокупные расходы на 50%, а модели продолжают сопоставлять содержание статьи и разговор пользователя с чат-ботом с контекстуальными категориями IAB.
Интеграция упрощена за счёт совместимых с OpenAI API-эндпоинтов: Dappier потребовалось около пяти минут, чтобы заменить адрес вызываемого сервиса. Модель классификации обучена на более чем 1 500 категориях IAB и, по заявлению ZeroGPU, отвечает менее чем за 50 мс, но не умеет выполнять задачи за пределами своей специализации.
Коротко
- ZeroGPU представила специализированные SLM с числом параметров менее 10 млрд для высокочастотных и повторяющихся задач в adtech.
- Dappier использует отдельные модели для классификации контента, определения коммерческого намерения и модерации с учётом brand safety.
- По словам Dappier, после внедрения моделей ZeroGPU совокупные расходы компании сократились на 50% благодаря снижению вычислительных затрат.
- Совместимые с OpenAI API-эндпоинты позволили Dappier перейти на новый сервис простой заменой URL; вся процедура заняла около пяти минут.
- Модель классификации обучена на более чем 1 500 категориях IAB, но не может выполнять несвязанные задачи, например анализ тональности.
FAQ
Зачем adtech-компаниям использовать малые языковые модели вместо универсальных LLM для классификации и модерации контента?
Специализированная модель обрабатывает только нужную задачу, поэтому требует меньше вычислительных ресурсов и быстрее выдаёт результат. Это особенно полезно в высокочастотных процессах.
Как можно заменить OpenAI или Claude на специализированную модель ZeroGPU без полной переработки существующей AI-интеграции?
ZeroGPU предоставляет совместимые с OpenAI API-эндпоинты. В описанном кейсе Dappier было достаточно изменить URL вызываемого сервиса.
Какое ограничение возникает при использовании узкоспециализированной SLM, обученной на контентной таксономии IAB?
Такая модель хорошо решает только задачу, под которую обучена. Для анализа тональности или другой функции потребуется отдельная специализированная модель.
Читайте также
ИИ-агенты для бизнеса в России: обзор 10 локальных платформ и решений
Три четверти сотрудников рекламных агентств готовы уйти из-за тендеров
Waze получит несколько новых функций на базе искусственного интеллекта
Как перенести расчёт абсолютных валютных курсов на Kaggle и автоматизировать обзоры через Gemini API- Rich Messages в Telegram-ботах: сложные сообщения, черновики и ограничения
- Когда использовать малые языковые модели в AdTech: Малые языковые модели подходят для массовых повторяющихся операций с узким и стабильным набором требований: классификации контента, определения намерения, модерации и подготовки кратких описаний. Для таких задач универсальная LLM может создавать избыточные затраты и задержки без заметного улучшения результата.
[AI-инфраструктура и выбор моделей]
Зарегистрированные пользователи видят только два тезиса.
Зарегистрироваться
ZeroGPU запустила набор малых языковых моделей для повторяющихся adtech-задач, где универсальные LLM оказываются слишком дорогими и медленными. В кейсе Dappier специализированные модели используются для классификации контента, определения намерений пользователя и модерации.