Skip to content

Cloudflare permite fijar las reglas de rastreo de IA una sola vez y sincronizarlas en todas partes

Respuesta corta

Cloudflare lanzó Bot Preference Sync, que permite a los propietarios de sitios declarar una sola vez sus preferencias sobre crawlers de IA (qué bots pueden acceder, entrenar o citar contenido) y que esas preferencias se apliquen en las plataformas participantes en lugar de reconfigurarse por dominio. Esto reduce el mantenimiento manual de robots.txt y de gestión de bots para empresas con múltiples propiedades web.

Qué significa para las operaciones

La mayoría de las empresas B2B de 10 a 200 personas operan varias propiedades web —sitio de marketing, documentación, blog, centro de ayuda— a menudo en plataformas distintas, cada una con reglas de bots separadas para controlar el acceso de crawlers de IA. Bot Preference Sync permite que operaciones o marketing definan una política de acceso de IA una sola vez (por ejemplo, permitir que ChatGPT y Perplexity citen contenido pero bloquear bots que raspan para entrenamiento) y que se aplique de forma consistente, sin que IT toque el robots.txt de cada subdominio. Esto afecta directamente la visibilidad en búsquedas de IA: aparecer citado correctamente en AI Overviews o respuestas de chatbots depende de que los crawlers puedan leer las páginas correctas mientras las áreas sensibles permanecen bloqueadas. La salvedad es que la sincronización solo funciona donde la plataforma receptora participa en el sistema de Cloudflare, por lo que aún no sustituye la vigilancia por sitio en todos los lugares donde vive el contenido.

Cloudflare ha presentado Bot Preference Sync, una función que permite a los propietarios de sitios web establecer preferencias de acceso para bots de IA una sola vez y que esas preferencias se apliquen en los servicios participantes, en lugar de configurar reglas de bots por separado para cada dominio o plataforma.

La función se apoya en las herramientas existentes de gestión de bots de IA de Cloudflare, que ya permiten a los clientes bloquear o permitir crawlers específicos como GPTBot, ClaudeBot o PerplexityBot en el borde de la red. Bot Preference Sync amplía esto centralizando la propia preferencia: en lugar de que una empresa vuelva a declarar "bloquear crawlers de entrenamiento de IA pero permitir crawlers de búsqueda de IA" en cada sitio que opera, la configuración se define una sola vez y se propaga a otros sistemas que reconocen la señal de preferencia de Cloudflare.

Los detalles exactos sobre qué plataformas participan en la sincronización y cómo se transmiten las preferencias fuera de la propia red de Cloudflare no están confirmados en el anuncio; el blog presenta esto como un paso temprano hacia un estándar compartido para expresar la intención de acceso de bots, similar en espíritu a robots.txt pero gestionado centralmente y sincronizable por máquina en lugar de basado en archivos por dominio.

Para las empresas B2B, el cambio práctico es administrativo más que estratégico. Cualquier empresa con blog, sitio de documentación, centro de ayuda y páginas de marketing distribuidas en distintas configuraciones de hosting ha tenido históricamente que gestionar las reglas de crawlers de IA de forma fragmentada —un archivo robots.txt aquí, una regla de bot de CDN allá, a menudo aplicadas de forma inconsistente. Bot Preference Sync condensa eso en una sola política declarada, reduciendo la carga operativa de mantener alineadas las reglas de acceso de IA entre propiedades a medida que aparecen nuevos crawlers de IA.

El cambio también toca directamente la visibilidad en búsquedas de IA. Las empresas se preocupan cada vez más por si su contenido es indexado y citado por motores de respuesta de IA como ChatGPT, Perplexity o los AI Overviews de Google, mientras que, por separado, quieren restringir el raspado para entrenamiento de modelos. Un único punto de sincronización para esa distinción —visible para citación versus bloqueado para entrenamiento— da a los equipos pequeños una forma de gestionar ese equilibrio sin ingeniería dedicada a la gestión de crawlers.

La limitación es la adopción: la sincronización solo funciona donde la plataforma receptora respeta la señal de preferencia de Cloudflare. Los sitios alojados completamente fuera de la red de Cloudflare, o las plataformas que no se han integrado con el sistema, todavía requieren configuración manual de bots. Las empresas deberían tratar esto como una capa de conveniencia sobre la gestión de bots existente, no como un sustituto de verificar directamente el comportamiento de los crawlers.

Fuente: Cloudflare Blog

Siguiente paso

Visibility Analyzer

Esto es lo que el Visibility Analyzer mide en un sitio real: qué respuestas te citan, qué páginas el motor no puede recuperar y qué arreglar primero. Ejecutarlo es gratis.

Lanzar una auditoría de visibilidad gratuita

Lanzarlo es gratis. Sin tarjeta.

Precio
Gratis
Duración
Una ejecución, minutos

Plan gratuito: dos análisis al día, sin tarjeta.