Под капотом одного ползунка: как устроена защита от ботов в Яндексе
Коротко
- Yandex Smart Web Security работает на уровне L7 и может защищать ресурсы вне Yandex Cloud через reverse proxy.
- Bot score оценивает запрос по шкале 0–100: до 20 — человек, 40–60 — зона неуверенности, выше 80 — бот.
- Для разметки
Яндекс использовал weak supervision: серая зона снизилась до менее 0,5%, PR AUC на эталонных срезах — выше 99,9%. - В сервисе верифицировано свыше 100 полезных роботов, включая поисковых краулеров, AI-ботов, агрегаторов и мониторинг.
- К существующим признакам трафика добавлены ASN и TLS-fingerprint JA4/JA3, а сигналы можно передавать в логи или заголовки.
Yandex Smart Web Security защищает сайты и приложения от DDoS, веб-атак и ботов, в том числе через reverse proxy для ресурсов вне Yandex Cloud. На уровне L7 сервис использует SmartProtection на базе Антиробота: раньше клиент мог делегировать решение системе, писать собственные правила, подключать WAF, Advanced Rate Limiter и разбирать логи, а теперь получил более гибкое управление чувствительностью защиты.
Ключевой механизм — bot score от 0 до 100. Он строится не только на ML-модели, но и на высокоточных эвристиках и поведенческих сигналах: 0 означает максимально человеческий профиль, 100 — максимально роботный. Для обучения Яндекс использовал weak supervision: по внутренним метрикам серая зона разметки снизилась до менее 0,5%, а точность на эталонных срезах достигла PR AUC выше 99,9%.
Отдельный слой нужен для полезных роботов: поисковых краулеров, агрегаторов, AI-ботов, мониторинговых и маркетинговых ботов. Яндекс верифицировал свыше 100 роботов, разложил их на 17 категорий и дал клиентам настройки по признаку верификации, имени и категории робота. Дополнительно сервис расширил сигналы для правил: к гео, IP, HTTP-компонентам и репутации IP добавились ASN и TLS-fingerprint JA4/JA3; данные можно получать в логах или заголовках запросов.
FAQ
Зачем Яндекс добавил Bot Management в Yandex Smart Web Security, если SmartProtection уже мог сам принимать решения по трафику?
Новой настройкой закрывают сценарии, где клиенту нужно самому менять чувствительность защиты и разделять вредных, полезных и спорных роботов по узким срезам трафика.
Чем bot score отличается от простой бинарной метки «человек» или «бот» в антибот-защите?
Bot score даёт градуированную оценку от 0 до 100, а не жёсткий ответ. Это позволяет мягче управлять действиями: пропускать, проверять, ограничивать или блокировать трафик.
Как сервис снижает риск заблокировать полезных роботов, например поисковых краулеров или мониторинговые инструменты?
Для этого используется отдельная верификация роботов по стабильным признакам вроде user-agent, IP, ASN или reverse DNS. Клиент может учитывать статус, имя и категорию робота в правилах.
Читайте также
GEO своими руками: собираем трекинг видимости бренда в ИИ-ответах на n8n [+ воркфлоу]- Котэ, язь, ничоси: как вчерашние мемы превратились в товарные знаки — исследование Яндекса
- SemrushSemrush MCP: подключение данных Semrush к ChatGPT, Claude и Gemini
- Как Stripe использует r.stripe.com/b: глубинный разбор поведенческой антибот-защиты
Новый инструмент Human Security обнаруживает ботов на странице в реальном времени
- Bot score как управляемая шкала роботности: Для антибот-защиты полезнее не бинарная метка человек/бот, а управляемый скоринг запроса по шкале 0–100. В описанной схеме 0 означает максимально человеческий профиль, 100 — максимально роботный; стартовая экспертная шкала: до 20 человек, 20–40 вероятно человек, 40–60 зона неуверенности, 60–80 вероятно бот, выше 80 бот.
[Антифрод и bot management]
Зарегистрированные пользователи видят только два тезиса.
Зарегистрироваться
ЯндексБезопасностьХабрФродФингерпринтингweb-scrapingcaptcha-securitygoogle-extendedyandex-cloudmodel-interpretabilityhuman-securityowaspbot-managementivtseomachine-learning
Яндекс добавил в Yandex Smart Web Security настройки Bot Management: пользователи облака могут управлять выделением роботного трафика через bot score, верификацию полезных ботов и дополнительные сигналы. Это практическое объяснение того, как антибот-защита балансирует между блокировкой вредной автоматизации и сохранением нормального пользовательского опыта.