От ad tech tax к AI data brokers: издатели говорят, что новые посредники забирают 100%
В Digiday несколько издательских источников описывают новую группу AI data brokers как «DSP для контента»: десятки стартапов собирают данные и страницы для AI-систем, но, по оценке одного publishing executive, фактически берут 100% комиссии. В отличие от ad tech-посредников, которые хотя бы возвращали издателям часть ценности через спрос, инфраструктуру или монетизацию, скрейперы извлекают сам контент без компенсации.
Chris Dicker из Candr Media называет это не налогом, а попыткой захвата IP: компании забирают 100% контента, платят 0% и иногда используют эти данные для продуктов, которые обходят издателя. Отдельная претензия — поведение «в плохой вере»: скрытые или неявные краулеры, обход no-crawl-директив и публичные заявления о нежелании соблюдать запреты сайтов.
Медиааналитик Matthew Scott Goldstein оценивает scraper economy как рынок около $1 млрд со ссылкой на Mordor Intelligence и считает, что часть скрейперов теперь переупаковывает себя как agentic infrastructure. В его списке 21 вендор, включая Firecrawl, Exa, Tavily, Brave, You.com, Perplexity Sonar и Bright Data; TollBit отдельно ведёт индекс почти по 40 сторонним скрейперам. Для издателей проблема усложняется синдикацией: даже если собственный домен закрыт, материалы могут быть доступны через порталы и клиентские сайты, а ответственность за настройки затем перекладывают на эти площадки.
Коротко
- Издатели сравнивают AI data brokers с DSP-посредниками для контента, но говорят, что те забирают не долю выручки, а весь контент.
- Chris Dicker из Candr Media считает, что скрейперы получают 100% контента, платят 0% и могут создавать продукты, конкурирующие с издателями.
- Matthew Scott Goldstein оценивает scraper economy примерно в $1 млрд и говорит о переупаковке скрейперов в agentic infrastructure.
- В отчёте Goldstein названы 21 вендор, включая Firecrawl, Exa, Tavily, Brave, You.com, Perplexity Sonar и Bright Data.
- Синдикация усложняет защиту: материалы могут появляться на порталах и клиентских сайтах даже после блокировки AI-краулеров на домене издателя.
FAQ
Зачем издатели сравнивают AI data brokers и сторонних скрейперов с ad tech tax и DSP-посредниками?
Так они объясняют новую цепочку посредников вокруг контента. Разница в том, что при ad tech tax издатель всё же получал часть ценности, а при скрейпинге, по их словам, компенсации нет.
Почему блокировка AI-краулеров не всегда решает проблему для издателей, которые распространяют контент через партнёров?
Даже если издатель закрывает собственный домен, его материалы могут оставаться на порталах и клиентских сайтах. AI-компании затем указывают на настройки этих площадок.
Какие компании и сервисы упоминаются в связи с новой экономикой стороннего AI-скрейпинга?
В тексте названы Firecrawl, Exa, Tavily, Brave, You.com, Perplexity Sonar и Bright Data. Также упоминается индекс TollBit почти по 40 сторонним скрейперам.
Читайте также
- AI data brokers как новый слой посредников вокруг контента: Сторонние AI data brokers можно рассматривать как новый тип посредников между издателями и потребителями контента: они собирают страницы, структурируют доступ к данным и продают это как инфраструктуру для AI-продуктов. Для издателя отличие от классического ad tech tax в том, что посредник забирает не долю рекламной выручки, а сам контент, при этом компенсация может отсутствовать полностью.
[AI и издательская монетизация]
Зарегистрированные пользователи видят только два тезиса.
Зарегистрироваться
Издатели всё чаще сравнивают сторонний AI-скрейпинг не с классическим ad tech tax, а с более жёсткой моделью: посредники забирают весь контент, ничего не платят и могут строить на нём конкурирующие продукты.