Cloudflare представила упрощённую процедуру верификации для операторов AI-ботов и агентов, желающих попасть в её каталог известных ботов под названием BotBase. Обновление касается растущего числа AI-краулеров, шопинг-агентов и ботов-ассистентов, которые теперь запрашивают доступ к сайтам от имени пользователей или в целях обучения моделей и поиска информации.
Ранее признание бота легитимным в системе Cloudflare требовало ручного обращения и работы с непоследовательной документацией. Новый путь даёт разработчикам ботов и агентов чёткий набор шагов: зарегистрироваться, подтвердить владение идентификатором своего бота и появиться в каталоге Cloudflare с единообразной классификацией. Операторы сайтов, использующие инструменты файрвола и управления ботами от Cloudflare, опираются на этот каталог при построении правил допуска и блокировки — поэтому более надёжный реестр означает меньше ложных срабатываний, когда легитимный AI-трафик принимают за вредоносный скрейпинг, и меньше самозванцев, проскакивающих под подделанной строкой user-agent.
Изменение важно потому, что AI-трафик на бизнес-сайты давно не ограничивается краулерами поисковых систем. Ассистенты, отвечающие на вопросы покупателей, агенты, проверяющие цены или наличие товара, и боты, суммирующие документацию, — все они теперь обращаются напрямую к корпоративным сайтам, и каждого нужно индивидуально распознать, прежде чем оператор решит, пускать ли его. Cloudflare не подтвердила точный список категорий ботов, которым доступна ускоренная верификация, и будут ли небольшие или новые поставщики AI-агентов проходить ту же проверку, что и крупные игроки вроде OpenAI или Anthropic.
Для небольшой или средней B2B-компании практический эффект проявляется в двух местах: на маркетинговом сайте и в портале поддержки. На маркетинговой стороне допуск верифицированных AI-агентов для шопинга или исследований означает, что страницы товаров и цен остаются доступными для цитирования в AI-генерируемых ответах, которые всё чаще определяют, какие поставщики попадают в шорт-лист ещё до того, как человек зайдёт на сайт. На стороне поддержки различение верифицированных ботов-ассистентов и обычных скрейперов снижает шум в логах веб-сервера и уменьшает вероятность того, что неверифицированный агент перегрузит форму обратной связи или виджет чата автоматическими запросами.
Компаниям, уже использующим панель управления ботами Cloudflare, стоит пересмотреть текущие списки допуска и блокировки после расширения каталога BotBase, поскольку боты, ранее блокировавшиеся по умолчанию, теперь могут иметь верифицированный статус, который имеет смысл учесть заново.