Cloudflare обвинила Perplexity в «stealth crawling»: при встрече с блокировками AI-стартап якобы скрывает идентичность краулера, чтобы обойти предпочтения сайтов. Поводом стали жалобы клиентов; для проверки Cloudflare создала тестовые домены с ограничениями (robots.txt и WAF) и зафиксировала обход.

• Техника обхода: сначала идентификация как «PerplexityBot»/«Perplexity-User», затем смена user agent с имитацией Google Chrome на macOS, ротация IP вне официального списка, смена ASN.
• Масштаб: наблюдения «на десятках тысяч доменов» и «миллионы запросов в день».
• Ответ Cloudflare: удаление Perplexity из списка верифицированных ботов и внедрение методов блокировки «stealth crawling»; по умолчанию блокируются AI-краулеры; запущен механизм взимания платы с AI-ботов за доступ.
• Позиция Perplexity: отчёт назван «publicity stunt», в тексте «много недоразумений»; ранее часть инцидентов списывалась на сторонних краулеров.
• Значение для рынка: robots.txt даёт ограниченный эффект; требуются серверные политики (WAF, IP/ASN-контроль, строгие allow/deny-листы) и договорные схемы оплаты за индексирование.