Спор об llms.txt: критики и сторонники хайпа измеряют разные слои
Критики опираются на серверные и CDN-логи: у OtterlyAI за 90 дней только 84 обращения к llms.txt из 62 100 AI-визитов, то есть 0,1%. Аудит тысячи доменов Adobe Experience Manager тоже показал, что GPTBot, ClaudeBot и PerplexityBot почти не запрашивают файл. SE Ranking нашёл llms.txt у 10,13% из 300 000 доменов, но связи между наличием файла и цитированием в AI-ответах не увидел.
В майском тесте восьми AI-систем файл при прямом запросе уверенно прочитали только ChatGPT 5.5 и Grok 4. Ни одна система не пошла к llms.txt сама, без команды, а Perplexity в основном работал через поисковый индекс, а не через прямой HTTP-запрос к файлу. Поэтому обещания прироста цитируемости на 30–60% не относятся к llms.txt: эти цифры взяты из других GEO-исследований про статистику, цитаты и адверториалы.
Практическая зона применения уже видна в документации, SaaS, API и DevTools. GitHub, Vercel, Stripe, Linear, Anthropic и OpenAI используют llms.txt, llms-full.txt или machine-readable маршруты, чтобы агентам и IDE-инструментам вроде Cursor, Claude Code, Copilot, Windsurf и Aider было проще читать документацию без HTML-шума. Для маркетингового лендинга это почти не канал роста, а для продуктовой документации — дешёвый слой совместимости поверх robots.txt, sitemap.xml и Schema.org.
Коротко
- OtterlyAI зафиксировал 84 обращения к llms.txt из 62 100 AI-визитов за 90 дней, то есть около 0,1% трафика AI-ботов.
- SE Ranking нашёл llms.txt у 10,13% из 300 000 доменов, но не увидел связи между файлом и частотой цитирования в AI-ответах.
- В тесте восьми систем llms.txt при прямой команде уверенно прочитали только ChatGPT 5.5 и Grok 4; сами к файлу системы не пошли.
- Google не поддерживает llms.txt для AI Overviews и AI Mode; Anthropic использует файл в документации, OpenAI официально не комментирует.
- Для SaaS, API и документации llms.txt полезен как карта для агентов; для лендингов и локального бизнеса важнее robots.txt, sitemap.xml и Schema.org.
FAQ
Зачем вообще нужен llms.txt, если фоновые AI-краулеры почти не заходят к этому файлу и обходят HTML напрямую?
Файл нужен не фоновым краулерам, а агентам, которые в реальном времени разбирают сайт по задаче пользователя. Особенно это актуально для документации, API и DevTools.
Можно ли считать llms.txt способом попасть в Google AI Overviews или повысить цитируемость сайта в AI-ответах?
Нет. Google не поддерживает llms.txt для AI Overviews и AI Mode, а связь файла с цитируемостью в крупных AI-ответах не подтверждена.
Чем llms.txt отличается от llms-full.txt и почему инфраструктурные компании часто держат оба файла?
llms.txt — короткая карта сайта или документации, а llms-full.txt — расширенная выгрузка контента. Первый файл помогает агенту сориентироваться, второй даёт больше текста для глубокой работы.
Читайте также
Тайм-трекеры отвечают не на тот вопрос. Нужен локальный агент рабочего состояния- LLM.txt — нужен ли он? Польза, вред и разбор на реальных данных
- Как дообучить LLM: пошаговый разбор
- Локальная Gemma 4 на MacBook читает графики и таблицы — и врёт красивее, чем говорит правду
AI SEO толкает бренды к астротёрфингу на Reddit, а погоня за результатами подпитывает principal media
- llms.txt не является сигналом фонового AI-краулинга: llms.txt не стоит оценивать по логам GPTBot, ClaudeBot, PerplexityBot и других фоновых краулеров: этот слой обычно обходит HTML напрямую и почти не запрашивает файл. Для диагностики эффективности llms.txt нужно отдельно смотреть агентные запросы в реальном времени, а не только стандартные server/CDN-логи.
[AI Search / llms.txt]
Зарегистрированные пользователи видят только два тезиса.
Зарегистрироваться
Спор об llms.txt упирается в смешение разных механизмов доступа AI к сайтам. Файл почти не читают фоновые краулеры, но он может работать как навигационный слой для агентного браузинга и IDE-агентов.