Cloudflare, одна из крупнейших интернет-инфраструктурных компаний (обслуживает около 20% всех веб-страниц), анонсировала по умолчанию блокировку AI-сканеров (AI crawlers) для новых клиентов. Теперь сбор данных для AI без разрешения и компенсации будет невозможен для большинства сайтов на платформе Cloudflare — что меняет рыночные правила с «opt-out» на «opt-in».

Параллельно запущена инициатива Pay Per Crawl, где издатели и создатели контента могут назначать свою цену за доступ к своим материалам для AI-сервисов. Владельцы AI-ботов получают прозрачную витрину цен, могут платить за легальный парсинг или отказаться от доступа. Таким образом, контроль над доступом и монетизацией полностью возвращается владельцам сайтов: можно разрешить, блокировать, выдавать бесплатный доступ или брать оплату по своему усмотрению.

В числе участников — крупные международные медиа и платформы: ADWEEK, BuzzFeed, Fortune, The Atlantic, Stack Overflow, Quora, TIME, IAB Tech Lab, O’Reilly Media, Webflow, Sovrn, Raptive и др. Cloudflare подчеркивает, что теперь любой паблишер или правообладатель может мгновенно изменить политику доступа для AI и получать компенсацию за использование своего контента.