Google, возможно, использует общий и недокументированный веб-краулер
SEO-сообщество фиксирует появление в логах нового краулера с user agent «
Google», которого нет в официальной документации Google (там перечислены только common crawlers, special case crawlers и user-triggered fetchers). Первые примеры опубликовал JC Chouinard; наблюдения подтвердили Andrea Volpini и Kyle Risley. По словам Malte Landwehr, «Google» и связанный бот «pageburst» приходят с IP-адресов Google.
Проблема: часть замеченных IP не фигурирует в официальном списке диапазонов Googlebot, что оставляет риск спуфинга. Джону Мюллеру (Google) направлен запрос, ответа пока нет. Также высказывается версия, что
Gemini/новые сервисы могут использовать нестандартный user agent.
Зачем важно для адтех/маркетинга и SEO-операций:
- Лог-анализ и bot management: правила, завязанные на user agent «Googlebot», могут пропускать «Google» или ошибочно блокировать его.
- Верификация: требуется двойная проверка (обратный DNS + сверка IP с актуальными списками) и мониторинг новых сигнатур («Google», «pageburst»).
- robots.txt и скоринг трафика: возможна пересборка исключений/квот для Google-ботов до официальных разъяснений.
Читайте также
Ретроспектива 2025: год LLM — практика, иллюзия и реальные сдвиги
Вице-президент Google объяснил, почему реклама уместна в AI-поиске, но пока не в Gemini
Google о найме GEO/AEO/SEO и покупке AI-инструментов оптимизации
Что означает сделка Apple и Google по Gemini для обеих компаний
Google отключил AI Overviews для некоторых медицинских запросов
Ключевые инсайты из новости (по версии ChatGPT)
- Недокументированный краулер с UA «Google»: В логах фиксируется новый краулер с user-agent «Google», которого нет в официальных списках Google. Его активность подтверждалась как идущая с IP-адресов Google, но часть IP не совпадает с публичными диапазонами Googlebot. Это требует пересмотра наших правил идентификации ботов: одного совпадения по UA недостаточно.
[процесс: управление ботами и краулингом]
Для получения полного доступа оформите подписку PubMag PRO.
Зарегистрированные пользователи видят только два тезиса.
Зарегистрироваться
Зарегистрированные пользователи видят только два тезиса.
Зарегистрироваться
Инсайты автоматически генерируются с помощью искусственного интеллекта на основе текста статьи.
Подписывайтесь на мой Telegram-канал — там еще больше интересного про AdTech, MarTech, AI и многое другое!