Skip to content

Cloudflare permite definir regras de crawler de IA uma vez só e sincronizar em toda a rede

Resposta curta

A Cloudflare lançou o Bot Preference Sync, que permite a donos de sites declarar preferências sobre crawlers de IA (quais bots podem acessar, treinar ou citar conteúdo) uma única vez, aplicando essa regra em plataformas participantes em vez de reconfigurar por domínio. Isso reduz a manutenção manual de robots.txt e bot-management para empresas com múltiplas propriedades web.

O que isso significa na operação

A maioria das empresas B2B de 10 a 200 funcionários opera vários endereços web — site institucional, documentação, blog, central de ajuda — muitas vezes em plataformas diferentes, cada uma exigindo regras de bot separadas para controlar o acesso de crawlers de IA. Com o Bot Preference Sync, times de operações ou marketing podem definir uma política de acesso de IA uma única vez (por exemplo, permitir que ChatGPT e Perplexity citem o conteúdo, mas bloquear bots que raspam para treinamento) e aplicá-la de forma consistente, sem que o time de TI precise mexer no robots.txt de cada subdomínio. Isso importa diretamente para a visibilidade em buscas de IA: ser citado corretamente em AI Overviews ou respostas de chatbots depende de os crawlers conseguirem ler as páginas certas enquanto áreas sensíveis ficam bloqueadas. A ressalva é que a sincronização só funciona onde a plataforma receptora participa do sistema da Cloudflare, então ainda não substitui a vigilância individual em todos os lugares onde o conteúdo está hospedado.

A Cloudflare apresentou o Bot Preference Sync, um recurso que permite a donos de sites definir preferências de acesso de bots de IA uma única vez e aplicá-las em serviços participantes, em vez de configurar regras de bot separadamente para cada domínio ou plataforma.

O recurso se baseia nas ferramentas existentes de gerenciamento de bots de IA da Cloudflare, que já permitem aos clientes bloquear ou permitir crawlers específicos, como GPTBot, ClaudeBot ou PerplexityBot, na borda da rede. O Bot Preference Sync amplia isso ao centralizar a própria preferência: em vez de uma empresa redeclarar "bloquear crawlers de treinamento de IA, mas permitir crawlers de busca de IA" em cada site que opera, a configuração é definida uma vez e propagada para outros sistemas que reconhecem o sinal de preferência da Cloudflare.

Os detalhes exatos sobre quais plataformas participam da sincronização e como as preferências são transmitidas fora da própria rede da Cloudflare não foram confirmados no anúncio; o blog da empresa apresenta isso como um passo inicial rumo a um padrão compartilhado para expressar a intenção de acesso de bots, semelhante em espírito ao robots.txt, mas gerenciado de forma centralizada e sincronizável por máquina, em vez de baseado em arquivo por domínio.

Para empresas B2B, a mudança prática é administrativa, não estratégica. Qualquer empresa com blog, site de documentação, central de ajuda e páginas de marketing espalhadas por diferentes configurações de hospedagem historicamente teve que gerenciar regras de crawler de IA de forma fragmentada — um arquivo robots.txt aqui, uma regra de bot de CDN ali, muitas vezes aplicadas de forma inconsistente. O Bot Preference Sync condensa isso em uma única política declarada, reduzindo a sobrecarga operacional de manter as regras de acesso de IA alinhadas entre propriedades à medida que novos crawlers de IA surgem.

A mudança também afeta diretamente a visibilidade em buscas de IA. Empresas cada vez mais se preocupam se seu conteúdo é indexado e citado por mecanismos de resposta de IA, como ChatGPT, Perplexity ou os AI Overviews do Google, enquanto, separadamente, querem restringir a raspagem para treinamento de modelos. Um único ponto de sincronização para essa distinção — visível para citação versus bloqueado para treinamento — dá a equipes menores uma forma de gerenciar essa troca sem engenharia dedicada de gerenciamento de crawlers.

A limitação é a adoção: a sincronização só funciona onde a plataforma receptora respeita o sinal de preferência da Cloudflare. Sites hospedados totalmente fora da rede da Cloudflare, ou plataformas que não se integraram ao sistema, ainda exigem configuração manual de bots. As empresas devem tratar isso como uma camada de conveniência sobre o gerenciamento de bots já existente, não como substituto da verificação direta do comportamento dos crawlers.

Fonte: Cloudflare Blog

Próximo passo

Visibility Analyzer

É isto que o Visibility Analyzer mede num site real: quais respostas citam você, quais páginas o motor não consegue recuperar e o que corrigir primeiro. Rodar é grátis.

Rodar uma auditoria de visibilidade grátis

Rodar é grátis. Sem cartão.

Preço
Grátis
Duração
Uma rodada, minutos

Plano grátis: duas análises por dia, sem cartão.