robots-txt

Последние новости

09.06.2026

Как заставить нейросеть рекомендовать ваши услуги: советы по GEO
04.06.2026

Спор об llms.txt: критики и сторонники хайпа измеряют разные слои
04.05.2026

От ad tech tax к AI data brokers: издатели говорят, что новые посредники забирают 100%
25.04.2026

Пять неочевидных уроков запуска кино-соцсети: robots.txt, рекомендации, WebRTC, sitemap и IndexNow
24.04.2026

LLM.txt — нужен ли он? Польза, вред и разбор на реальных данных
11.04.2026

Эпоха без кликов: как ИИ превращает поиск в готовый ответ, а SEO — в борьбу за доверие, цитируемость и репутацию
18.02.2026

Почему страницы сайта выпадают из индекса
20.01.2026

AEO vs SEO оптимизация
24.11.2025

Amazon тихо блокирует всё больше веб-краулеров ChatGPT от OpenAI на своём сайте
02.10.2025

Медиа-брифинг: от стандартов к маркетплейсам — в ИИ началась «гонка за долей рынка»
11.08.2025

Reddit заблокирует Internet Archive
11.08.2025

Google, возможно, использует общий и недокументированный веб-краулер
11.08.2025

Интервью с Gary Illyes о поиске с ИИ, контенте и SEO
04.08.2025

Cloudflare: AI-сервис Perplexity применяет «скрытные тактики» для обхода запретов на обход (no-crawl)
04.08.2025

Cloudflare: боты ИИ Perplexity «скрытно краулят» заблокированные сайты
04.08.2025

Perplexity обвиняют в скрейпинге сайтов, явно запретивших AI-скрейпинг