#robots-txt

04.08.2025 — : Cloudflare: AI-сервис Perplexity применяет «скрытные тактики» для обхода запретов на обход (no-crawl)
04.08.2025 — : Cloudflare: боты ИИ Perplexity «скрытно краулят» заблокированные сайты
04.08.2025 — : Perplexity обвиняют в скрейпинге сайтов, явно запретивших AI-скрейпинг