Google, возможно, использует общий и недокументированный веб-краулер

SEO-сообщество фиксирует появление в логах нового краулера с user agent «Google», которого нет в официальной документации Google (там перечислены только common crawlers, special case crawlers и user-triggered fetchers). Первые примеры опубликовал JC Chouinard; наблюдения подтвердили Andrea Volpini и Kyle Risley. По словам Malte Landwehr, «Google» и связанный бот «pageburst» приходят с IP-адресов Google.

Проблема: часть замеченных IP не фигурирует в официальном списке диапазонов Googlebot, что оставляет риск спуфинга. Джону Мюллеру (Google) направлен запрос, ответа пока нет. Также высказывается версия, что Gemini/новые сервисы могут использовать нестандартный user agent.

Зачем важно для адтех/маркетинга и SEO-операций:

  • Лог-анализ и bot management: правила, завязанные на user agent «Googlebot», могут пропускать «Google» или ошибочно блокировать его.
  • Верификация: требуется двойная проверка (обратный DNS + сверка IP с актуальными списками) и мониторинг новых сигнатур («Google», «pageburst»).
  • robots.txt и скоринг трафика: возможна пересборка исключений/квот для Google-ботов до официальных разъяснений.

Читайте также

  1. Google Ads удалил 8,3 млрд объявлений — более чем на 60% больше, большинство до показа
  2. Ловцы алгоритмов: как в programmatic продают фродовый трафик
  3. Google запускает AI Mode в США: Deep Search, Live Search, персонализация и агентные сценарии в поиске
  4. Google AI Mode теперь открывает ссылки на десктопе в split view
  5. Как сделать SEO для Telegram-канала и бесплатный кросспостинг в VK и MAX
Ключевые инсайты из новости (по версии ChatGPT)
  • Недокументированный краулер с UA «Google»: В логах фиксируется новый краулер с user-agent «Google», которого нет в официальных списках Google. Его активность подтверждалась как идущая с IP-адресов Google, но часть IP не совпадает с публичными диапазонами Googlebot. Это требует пересмотра наших правил идентификации ботов: одного совпадения по UA недостаточно.
    [процесс: управление ботами и краулингом]
Для получения полного доступа оформите подписку PubMag PRO.
Зарегистрированные пользователи видят только два тезиса.
Зарегистрироваться
Инсайты автоматически генерируются с помощью искусственного интеллекта на основе текста статьи.
← Назад в лентуЧитать оригинал →
✈️ Подписывайтесь на мой Telegram-канал — там еще больше интересного про AdTech, MarTech, AI и многое другое!