Большие языковые модели избыточны для некоторых маркетинговых задач. На смену приходят малые модели
Коротко
- ZeroGPU представила специализированные SLM с числом параметров менее 10 млрд для высокочастотных и повторяющихся задач в adtech.
- Dappier использует отдельные модели для классификации контента, определения коммерческого намерения и модерации с учётом brand safety.
- По словам Dappier, после внедрения моделей ZeroGPU совокупные расходы компании сократились на 50% благодаря снижению вычислительных затрат.
- Совместимые с
OpenAI API-эндпоинты позволили Dappier перейти на новый сервис простой заменой URL; вся процедура заняла около пяти минут. - Модель классификации обучена на более чем 1 500 категориях IAB, но не может выполнять несвязанные задачи, например анализ тональности.
Малые языковые модели ZeroGPU содержат менее 10 млрд параметров и обучаются под конкретную функцию, а не на максимально широком корпусе данных. Они могут работать на обычных центральных процессорах и даже в браузере, поэтому требуют меньше вычислительных ресурсов, чем крупные модели, зависящие от дорогостоящих GPU.
Dappier внедрила три модели: для классификации контента, распознавания коммерческого намерения и brand safety. По словам компании, переход помог снизить совокупные расходы на 50%, а модели продолжают сопоставлять содержание статьи и разговор пользователя с чат-ботом с контекстуальными категориями IAB.
Интеграция упрощена за счёт совместимых с OpenAI API-эндпоинтов: Dappier потребовалось около пяти минут, чтобы заменить адрес вызываемого сервиса. Модель классификации обучена на более чем 1 500 категориях IAB и, по заявлению ZeroGPU, отвечает менее чем за 50 мс, но не умеет выполнять задачи за пределами своей специализации.
FAQ
Зачем adtech-компаниям использовать малые языковые модели вместо универсальных LLM для классификации и модерации контента?
Специализированная модель обрабатывает только нужную задачу, поэтому требует меньше вычислительных ресурсов и быстрее выдаёт результат. Это особенно полезно в высокочастотных процессах.
Как можно заменить OpenAI или Claude на специализированную модель ZeroGPU без полной переработки существующей AI-интеграции?
ZeroGPU предоставляет совместимые с OpenAI API-эндпоинты. В описанном кейсе Dappier было достаточно изменить URL вызываемого сервиса.
Какое ограничение возникает при использовании узкоспециализированной SLM, обученной на контентной таксономии IAB?
Такая модель хорошо решает только задачу, под которую обучена. Для анализа тональности или другой функции потребуется отдельная специализированная модель.
Читайте также
МТС Ads Premium Video увеличила долю Connected TV-инвентаря с поддержкой контентных словарей- SemrushSemrush MCP: подключение данных Semrush к ChatGPT, Claude и Gemini
Seattle Times и Newsday вслед за другими издателями подали в суд на OpenAI и Microsoft- Власти США встали на сторону OpenAI в споре с издателями
Чтобы агентная реклама работала, нужно решить, чего ИИ никогда не должен касаться
- Когда использовать малые языковые модели в AdTech: Малые языковые модели подходят для массовых повторяющихся операций с узким и стабильным набором требований: классификации контента, определения намерения, модерации и подготовки кратких описаний. Для таких задач универсальная LLM может создавать избыточные затраты и задержки без заметного улучшения результата.
[AI-инфраструктура и выбор моделей]
Зарегистрированные пользователи видят только два тезиса.
Зарегистрироваться
AdExchangeriab-tech-labБезопасность брендаКонтекстная рекламаAI-агентыLLMai-marketingcontent-classificationinference-cost-optimizationsmall-language-modelsopenai-compatible-api
ZeroGPU запустила набор малых языковых моделей для повторяющихся adtech-задач, где универсальные LLM оказываются слишком дорогими и медленными. В кейсе Dappier специализированные модели используются для классификации контента, определения намерений пользователя и модерации.