Google, возможно, использует общий и недокументированный веб-краулер

SEO-сообщество фиксирует появление в логах нового краулера с user agent «», которого нет в официальной документации Google (там перечислены только common crawlers, special case crawlers и user-triggered fetchers). Первые примеры опубликовал JC Chouinard; наблюдения подтвердили Andrea Volpini и Kyle Risley. По словам Malte Landwehr, «Google» и связанный бот «pageburst» приходят с IP-адресов Google.

Проблема: часть замеченных IP не фигурирует в официальном списке диапазонов Googlebot, что оставляет риск спуфинга. Джону Мюллеру (Google) направлен запрос, ответа пока нет. Также высказывается версия, что /новые сервисы могут использовать нестандартный user agent.

Зачем важно для адтех/маркетинга и SEO-операций:

  • Лог-анализ и bot management: правила, завязанные на user agent «Googlebot», могут пропускать «Google» или ошибочно блокировать его.
  • Верификация: требуется двойная проверка (обратный DNS + сверка IP с актуальными списками) и мониторинг новых сигнатур («Google», «pageburst»).
  • robots.txt и скоринг трафика: возможна пересборка исключений/квот для Google-ботов до официальных разъяснений.
Ключевые инсайты из новости (по версии ChatGPT)
  • Недокументированный краулер с UA «Google»: В логах фиксируется новый краулер с user-agent «Google», которого нет в официальных списках Google. Его активность подтверждалась как идущая с IP-адресов Google, но часть IP не совпадает с публичными диапазонами Googlebot. Это требует пересмотра наших правил идентификации ботов: одного совпадения по UA недостаточно.
    [процесс: управление ботами и краулингом]
Для получения полного доступа оформите подписку PubMag PRO.
Зарегистрированные пользователи видят только два тезиса.
Зарегистрироваться
Инсайты автоматически генерируются с помощью искусственного интеллекта на основе текста статьи.
← Назад в лентуЧитать оригинал →
✈️ Подписывайтесь на мой Telegram-канал — там еще больше интересного про AdTech, MarTech, AI и многое другое!