LLM.txt — нужен ли он? Польза, вред и разбор на реальных данных
llms.txt — это предлагаемый, а не принятый стандарт: Markdown-файл в корне сайта со списком важных страниц и короткими описаниями. Идея в том, чтобы дать LLM-ботам более чистую карту контента без навигации, попапов, рекламных блоков и HTML-шумов, но в данных Флавио Лонгато по доменам Adobe Experience Manager основные LLM-боты к нему не обращались.
Большая часть обращений к файлу пришла не от AI-систем: Google Desktop Crawler дал около 95% хитов, потому что обходит любые найденные URL, BingBot сделал 7 запросов на одном домене, OpenAIBotSearch — 10 запросов, а SEO-инструменты вроде Semrush проверяют наличие файла как пункт аудита. Это создаёт видимость активности, хотя не доказывает поддержку llms.txt со стороны LLM-платформ.
Вместо ручной поддержки llms.txt автор предлагает вкладываться в уже работающие вещи: семантический HTML, Schema.org через JSON-LD, актуальный sitemap.xml, правила для AI-ботов в robots.txt, понятные alt-тексты и транскрипты видео. Если файл всё же делать «на всякий случай», его лучше генерировать автоматически из CMS или sitemap.xml, не вести вручную и не считать полноценной стратегией AI-оптимизации.
Коротко
- Аудит CDN-логов на 1000 доменах за 30 дней показал 0 обращений к llms.txt от GPTBot, ClaudeBot и PerplexityBot.
- Google Desktop Crawler дал около 95% хитов по llms.txt, но это описано как обычный обход любых файлов, а не поддержка стандарта.
- BingBot сделал 7 запросов только на одном домене из тысячи, OpenAIBotSearch — 10 запросов, что автор оценивает как минимальную активность.
- SEO-инструменты вроде Semrush проверяют наличие llms.txt, но это скорее пункт аудита, чем признак использования файла AI-системами.
- Рабочими альтернативами названы robots.txt для AI-ботов, sitemap.xml, JSON-LD, семантический HTML, alt-тексты и транскрипты видео.
FAQ
Зачем вообще создавать llms.txt, если основные LLM-боты пока не обращаются к этому файлу?
В тексте это описано скорее как страховка на будущее и удобная Markdown-карта важных страниц. Но автор не советует тратить на файл много времени или включать его в KPI по AI-SEO.
Какие инструменты лучше использовать вместо llms.txt для видимости сайта в AI-ответах и поисковых системах?
Автор предлагает начинать с семантического HTML, Schema.org через JSON-LD, sitemap.xml и robots.txt с правилами для AI-ботов. Для визуального контента важны осмысленные alt-тексты и транскрипты видео.
Как проверить, заходят ли AI-боты на сайт и обращаются ли они к llms.txt или другим страницам?
Нужно смотреть серверные или CDN-логи и фильтровать user-agent вроде GPTBot, ClaudeBot, PerplexityBot, ChatGPT-User, Bytespider и CCBot. В CDN и WAF-системах такая аналитика часто доступна в интерфейсе.
Читайте также
Эпоха без кликов: как ИИ превращает поиск в готовый ответ, а SEO — в борьбу за доверие, цитируемость и репутацию- Альтман в панике: зачем ChatGPT превратили в рекламную помойку и почему это не спасёт OpenAI
AEO vs SEO оптимизация- Как составить ТЗ для копирайтера, дизайнера или разработчика с помощью Claude
- Пять неочевидных уроков запуска кино-соцсети: robots.txt, рекомендации, WebRTC, sitemap и IndexNow
- Проверять AI-SEO-гипотезы по логам, а не по наличию модных файлов: Перед внедрением новых практик вроде llms.txt нужно смотреть реальные обращения ботов в CDN- или серверных логах. В кейсе из статьи аудит 1000 доменов за 30 дней показал 0 обращений к llms.txt от GPTBot, ClaudeBot и PerplexityBot, поэтому сам факт обсуждения стандарта не равен его практической поддержке.
[AI-видимость и SEO]
Зарегистрированные пользователи видят только два тезиса.
Зарегистрироваться
llms.txt подаётся как новый файл для AI-SEO, но аудит CDN-логов на 1000 доменах за 30 дней не показал ни одного обращения к нему от GPTBot, ClaudeBot и PerplexityBot. Практический вывод простой: файл почти не вреден, но пока не подтверждён как рабочий инструмент AI-видимости.