robots-txt
Последние новости
-
04.05.2026
От ad tech tax к AI data brokers: издатели говорят, что новые посредники забирают 100% -
25.04.2026
Пять неочевидных уроков запуска кино-соцсети: robots.txt, рекомендации, WebRTC, sitemap и IndexNow -
24.04.2026
LLM.txt — нужен ли он? Польза, вред и разбор на реальных данных -
11.04.2026
Эпоха без кликов: как ИИ превращает поиск в готовый ответ, а SEO — в борьбу за доверие, цитируемость и репутацию -
18.02.2026
Почему страницы сайта выпадают из индекса -
20.01.2026
AEO vs SEO оптимизация -
24.11.2025
Amazon тихо блокирует всё больше веб-краулеров ChatGPT от OpenAI на своём сайте -
02.10.2025
Медиа-брифинг: от стандартов к маркетплейсам — в ИИ началась «гонка за долей рынка» -
11.08.2025
Reddit заблокирует Internet Archive -
11.08.2025
Google, возможно, использует общий и недокументированный веб-краулер -
11.08.2025
Интервью с Gary Illyes о поиске с ИИ, контенте и SEO -
04.08.2025
Cloudflare: AI-сервис Perplexity применяет «скрытные тактики» для обхода запретов на обход (no-crawl) -
04.08.2025
Cloudflare: боты ИИ Perplexity «скрытно краулят» заблокированные сайты -
04.08.2025
Perplexity обвиняют в скрейпинге сайтов, явно запретивших AI-скрейпинг