Cloudflare представила Bot Preference Sync — функцию, которая позволяет владельцам сайтов задать настройки доступа AI-ботов один раз и применить их на всех подключённых сервисах, вместо того чтобы настраивать правила для ботов отдельно на каждом домене или платформе.
Функция развивает существующие инструменты Cloudflare для управления AI-ботами, которые уже позволяют клиентам блокировать или разрешать конкретных краулеров — таких как GPTBot, ClaudeBot или PerplexityBot — на уровне сети. Bot Preference Sync идёт дальше: централизует саму настройку. Вместо того чтобы компания заново прописывала правило «блокировать краулеров для обучения AI, но разрешать краулеров для AI-поиска» на каждом своём сайте, настройка задаётся один раз и распространяется на другие системы, которые распознают сигнал предпочтений Cloudflare.
Точные детали о том, какие платформы участвуют в синхронизации и как передаются настройки за пределами сети Cloudflare, из анонса не подтверждены; в блоге это описывается как ранний шаг к общему стандарту выражения намерений по доступу ботов — по духу похожему на robots.txt, но управляемому централизованно и синхронизируемому машинно, а не через файл на каждом домене.
Для B2B-компаний практический сдвиг носит административный, а не стратегический характер. Любая компания с блогом, документацией, справочным центром и маркетинговыми страницами, размещёнными в разных хостинговых конфигурациях, исторически была вынуждена управлять правилами AI-краулеров фрагментарно — файл robots.txt здесь, правило бота в CDN там, часто с несогласованным результатом. Bot Preference Sync сводит это к одной заявленной политике, снижая операционные затраты на поддержание единых правил доступа AI по мере появления новых краулеров.
Изменение также напрямую касается видимости в AI-поиске. Компании всё больше заботятся о том, индексируется и цитируется ли их контент AI-системами ответов — ChatGPT, Perplexity или Google AI Overviews, — при этом отдельно желая ограничить сбор данных для обучения моделей. Единая точка синхронизации для этого различия — видимо для цитирования против заблокировано для обучения — даёт небольшим командам способ управлять этим балансом без выделенной инженерной работы по управлению краулерами.
Ограничение — в охвате внедрения: синхронизация работает только там, где принимающая платформа поддерживает сигнал предпочтений Cloudflare. Сайты, размещённые полностью за пределами сети Cloudflare, или платформы, не интегрированные с системой, всё равно требуют ручной настройки ботов. Компаниям стоит рассматривать это как удобный дополнительный слой над существующим управлением ботами, а не как замену прямой проверки поведения краулеров.