Google, возможно, использует общий и недокументированный веб-краулер
SEO-сообщество фиксирует появление в логах нового краулера с user agent «
Google», которого нет в официальной документации Google (там перечислены только common crawlers, special case crawlers и user-triggered fetchers). Первые примеры опубликовал JC Chouinard; наблюдения подтвердили Andrea Volpini и Kyle Risley. По словам Malte Landwehr, «Google» и связанный бот «pageburst» приходят с IP-адресов Google.
Проблема: часть замеченных IP не фигурирует в официальном списке диапазонов Googlebot, что оставляет риск спуфинга. Джону Мюллеру (Google) направлен запрос, ответа пока нет. Также высказывается версия, что
Gemini/новые сервисы могут использовать нестандартный user agent.
Зачем важно для адтех/маркетинга и SEO-операций:
- Лог-анализ и bot management: правила, завязанные на user agent «Googlebot», могут пропускать «Google» или ошибочно блокировать его.
- Верификация: требуется двойная проверка (обратный DNS + сверка IP с актуальными списками) и мониторинг новых сигнатур («Google», «pageburst»).
- robots.txt и скоринг трафика: возможна пересборка исключений/квот для Google-ботов до официальных разъяснений.
Читайте также
Пока бренды адаптируются к AI search, границы между paid search и органическим поиском размываются
Туда, где будет шайба; вредоносное ПО повсюду
Microsoft Advertising тестирует товарную карусель Shopping Ads с переключателем нескольких изображений
Google запускает AI Mode в США: Deep Search, Live Search, персонализация и агентные сценарии в поиске
Перформанс-маркетинг для начинающих
Ключевые инсайты из новости (по версии ChatGPT)
- Недокументированный краулер с UA «Google»: В логах фиксируется новый краулер с user-agent «Google», которого нет в официальных списках Google. Его активность подтверждалась как идущая с IP-адресов Google, но часть IP не совпадает с публичными диапазонами Googlebot. Это требует пересмотра наших правил идентификации ботов: одного совпадения по UA недостаточно.
[процесс: управление ботами и краулингом]
Для получения полного доступа оформите подписку PubMag PRO.
Зарегистрированные пользователи видят только два тезиса.
Зарегистрироваться
Зарегистрированные пользователи видят только два тезиса.
Зарегистрироваться
Инсайты автоматически генерируются с помощью искусственного интеллекта на основе текста статьи.
Подписывайтесь на мой Telegram-канал — там еще больше интересного про AdTech, MarTech, AI и многое другое!