Cloudflare представила новый механизм под названием Content Signals Policy, который расширяет стандартный файл robots.txt, позволяя владельцам сайтов задавать раздельные разрешения для поисковой индексации и для обучения ИИ-моделей. Раньше владельцы сайтов, решившие заблокировать ИИ-краулеров, сталкивались с выбором "всё или ничего": блокировка краулера ради предотвращения использования данных для обучения одновременно убирала сайт из индекса этого краулера, отрезая видимость в ИИ-сгенерированных поисковых ответах и чат-ответах.
Новый формат сигналов позволяет сайту указать, например, что определённый краулер может индексировать и цитировать его страницы в результатах поиска и в ИИ-движках ответов, но не может использовать собранный контент для обучения или дообучения модели. Cloudflare представляет это как способ для издателей оставаться доступными для обнаружения в растущей доле исследований, проводимых через ИИ-ассистентов, не отдавая при этом контент по умолчанию в конвейеры обучения моделей.
Внедрение зависит от того, будут ли операторы краулеров добровольно соблюдать сигнал; директивы robots.txt, включая это новое поле, не имеют юридической силы и полагаются на то, что краулер будет вести себя так, как указано. Cloudflare заявила, что поможет обеспечивать соблюдение политики для краулеров, проходящих через её сеть, однако охват для ИИ-ботов, обходящих инфраструктуру Cloudflare, не подтверждён.
Для B2B-компаний, публикующих сравнительные страницы, документацию или кейсы как часть воронки продаж и поддержки, обнаруживаемость внутри ИИ-движков ответов стала значимым источником трафика и лидов наряду с традиционным органическим поиском. Это обновление даёт операторам документированный, стандартизированный способ разделить "быть найденным" и "быть использованным для обучения", вместо того чтобы выбирать одно из двух. Компаниям с контент-ориентированными воронками стоит проверить текущую конфигурацию robots.txt, убедиться, поддерживает ли их CMS или настройки зоны Cloudflare этот новый сигнал, и определять политику для каждого краулера отдельно, а не применять общее правило блокировки или разрешения.