Google, возможно, использует общий и недокументированный веб-краулер
SEO-сообщество фиксирует появление в логах нового краулера с user agent «Google», которого нет в официальной документации Google (там перечислены только common crawlers, special case crawlers и user-triggered fetchers). Первые примеры опубликовал JC Chouinard; наблюдения подтвердили Andrea Volpini и Kyle Risley. По словам Malte Landwehr, «Google» и связанный бот «pageburst» приходят с IP-адресов Google.
Проблема: часть замеченных IP не фигурирует в официальном списке диапазонов Googlebot, что оставляет риск спуфинга. Джону Мюллеру (Google) направлен запрос, ответа пока нет. Также высказывается версия, что Gemini/новые сервисы могут использовать нестандартный user agent.
Зачем важно для адтех/маркетинга и SEO-операций:
- Лог-анализ и bot management: правила, завязанные на user agent «Googlebot», могут пропускать «Google» или ошибочно блокировать его.
- Верификация: требуется двойная проверка (обратный DNS + сверка IP с актуальными списками) и мониторинг новых сигнатур («Google», «pageburst»).
- robots.txt и скоринг трафика: возможна пересборка исключений/квот для Google-ботов до официальных разъяснений.
Читайте также
Google Ads удалил 8,3 млрд объявлений — более чем на 60% больше, большинство до показа
Ловцы алгоритмов: как в programmatic продают фродовый трафик
Google запускает AI Mode в США: Deep Search, Live Search, персонализация и агентные сценарии в поиске
Google AI Mode теперь открывает ссылки на десктопе в split view
Как сделать SEO для Telegram-канала и бесплатный кросспостинг в VK и MAX
Ключевые инсайты из новости (по версии ChatGPT)
- Недокументированный краулер с UA «Google»: В логах фиксируется новый краулер с user-agent «Google», которого нет в официальных списках Google. Его активность подтверждалась как идущая с IP-адресов Google, но часть IP не совпадает с публичными диапазонами Googlebot. Это требует пересмотра наших правил идентификации ботов: одного совпадения по UA недостаточно.
[процесс: управление ботами и краулингом]
Для получения полного доступа оформите подписку PubMag PRO.
Зарегистрированные пользователи видят только два тезиса.
Зарегистрироваться
Зарегистрированные пользователи видят только два тезиса.
Зарегистрироваться
Инсайты автоматически генерируются с помощью искусственного интеллекта на основе текста статьи.
Подписывайтесь на мой Telegram-канал — там еще больше интересного про AdTech, MarTech, AI и многое другое!