Рост генеративного ИИ не только меняет способы создания и потребления контента, но и приносит в медиаиндустрию новые модели монетизации и целый слой новых терминов. В числе ключевых концепций — pay-per-crawl (оплата паблишерам за каждый обход сайта ботом-ИИ), pay-per-query (оплата за использование контента в сгенерированных ответах), а также новая роль AI-агентов и user agents, которые действуют от имени пользователя для сбора, анализа и генерации информации.

Особый акцент — на различиях между RAG-агентами (Retrieval Augmented Generation), которые ищут и цитируют свежую информацию для ответа на запросы, и обучающими краулерами, собирающими данные для тренировки LLM. В 2025 году, по данным TollBit, активность RAG-скрапинга уже превзошла традиционный сбор обучающих данных, а ценообразование для каждого типа доступа различно.

Появляются новые инфраструктурные инициативы: Model Context Protocol (Anthropic) позволяет интегрировать платный контент паблишеров напрямую в интерфейсы ИИ, а LLM Content Ingest API от IAB Tech Lab формирует стандарт для publisher-consented скрапинга с компенсацией создателям контента.

Для защиты от нежелательных ботов паблишеры используют robots.txt и новые решения — например, «красную кнопку» Cloudflare для экстренной блокировки ИИ-краулеров. Тем временем, метрика crawl-to-referral ratio обнажает проблему: например, OpenAI совершает 1 700 скрапингов на одну передачу реального трафика, тогда как у Google этот показатель — 14:1.

Вектор развития: эволюция новых протоколов (NLWeb от Microsoft, A2A от Google) и стандартов открывает дорогу к более прозрачной монетизации трафика с участием ИИ, но также требует от индустрии постоянной адаптации и лоббирования новых условий работы.