Allowlist de crawlers de IA em 2026: quais bots deixar entrar ou bloquear

Deixar um rastreador de IA entrar é uma troca, e vale enunciá-la nos termos que um dono usaria. Você entrega uma cópia de conteúdo que já publica de graça. Recebe de volta a chance de ser a fonte que um assistente cita quando o seu cliente pergunta a ele o que comprar.

Se a troca é boa depende do rastreador, porque eles fazem quatro trabalhos diferentes e só alguns devolvem algo. Abaixo: o que cada um dos 28 bots realmente faz, um robots.txt funcional, as regras de Cloudflare que o aplicam e como verificar que continua valendo.

As quatro tarefas de um crawler

Antes de liberar ou bloquear, entenda qual tarefa o bot está fazendo. Um único fornecedor frequentemente opera 2-4 crawlers separados para finalidades diferentes.

O erro mais comum: bloquear as quatro "para proteger o conteúdo" — apagando os papéis de índice e navegação na sessão. Esses dois respondem por 80% do tráfego de respostas citadas.

Tabela de identidade dos 28 bots (maio de 2026)

Um robots.txt que funciona

Para um site B2B que quer máxima elegibilidade a citações e zero contribuição para treino:

# Citação — tudo liberado
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: MistralAI-User
Allow: /

User-agent: Kagibot
Allow: /

User-agent: Brave-SearchBot
Allow: /

User-agent: xAI-Bot
Allow: /

User-agent: YouBot
Allow: /

# Apenas treino — bloquear
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: bingbot-Extended
Disallow: /

# Hostis / sem retorno em citação
User-agent: anthropic-ai
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: Diffbot
Disallow: /

User-agent: Omgilibot
Disallow: /

User-agent: Webzio-Extended
Disallow: /

# Todos os outros
User-agent: *
Allow: /

Sitemap: https://seudominio.com/sitemap.xml

Inverta GPTBot / ClaudeBot para Allow se quiser entrar no treino dos modelos da próxima geração (a maioria das marcas B2B se beneficia — o modelo aprende sua terminologia). Mantenha Disallow só se publicou pesquisa proprietária que não quer ver absorvida.

Aplicação no Cloudflare

robots.txt é respeitado pelos bots compatíveis. Bytespider, vendors de scrape-as-a-service e scrapers via proxy residencial ignoram. A camada de aplicação em 2026 é o painel AI Bots do Cloudflare (Security → Bots → AI Bots, disponível no plano Free desde 2025):

1. Desabilite o toggle "Block AI Scrapers" — é o martelo cego que derruba os crawlers que citam junto com os scrapers.
2. Ative regras por bot com:
   • PerplexityBot, OAI-SearchBot, Claude-SearchBot, Google-Extended, Applebot-Extended: Allow.
   • GPTBot, ClaudeBot: Allow ou Managed Challenge conforme sua política de treino.
   • Bytespider, Amazonbot, Meta-ExternalAgent, FacebookBot: Block.
3. Adicione uma regra customizada de WAF com (cf.client.bot eq false) and (http.user_agent contains "ai" or http.user_agent contains "bot") e ação Managed Challenge para pegar imitadores com user-agent "AI-style" que não estão na lista verificada.
4. Coloque um honeypot em /disallow-honeypot/ linkado apenas do llms.txt, com rate-limit por IP em 1, ação Block 24h. Pega scrapers que ignoram robots.txt — nenhum crawler legítimo de IA acessaria esse caminho.

Verificação

Depois de subir a política, valide semanalmente:

• tail -f /var/log/nginx/access.log | grep -E "PerplexityBot|OAI-SearchBot|Claude-SearchBot" — confirma que os bots de citação continuam batendo.
• Cloudflare Analytics → Security → Bot traffic — gráfico Allowed/Challenged/Blocked. Espere queda de 30-50% no tráfego AI bloqueado depois da subida; é o scraper indesejado indo embora.
• Participação em citações no Perplexity (consultas que deveriam citar você) — deve subir 2-4 semanas após permitir o PerplexityBot, se antes estava em zero. Como instrumentar isso está em tracking de citações AEO.
• Google Search Console → AI Overview impressions (lançando ao longo de 2026) — não deve despencar.

Se o PerplexityBot parar de bater depois da subida, a ordem das regras no Cloudflare está errada (um Block mais amplo casa antes). Mova os Allow por bot para o topo.

Por que o bloqueio padrão está errado

Três das quatro tarefas de crawlers fazem algo que te interessa: indexar para te citar, navegar a página viva quando o usuário pede, treinar modelos futuros para que conheçam sua marca. Só uma — scrapers puros como o Bytespider — não retorna nada útil.

O padrão de 2024 ("bloquear toda IA") fazia sentido quando o mecanismo de citação não existia e os crawlers só levavam embora. Em 2026 os mecanismos existem: citações do PerplexityBot já geram referral mensurável, o Google AI Overview cita com atribuição, o ChatGPT-User puxa dados ao vivo. A assimetria virou: agora bloquear é a opção cara.

12 linhas de robots.txt e 4 regras no Cloudflare são a diferença entre ser citado nas respostas que seus clientes pedem à IA e ficar invisível. A configuração leva uma hora; o ganho se acumula por anos.

Uma ressalva sobre o tráfego que isso compra. Uma fatia crescente do que chega depois de um rastreador ler você não é uma pessoa clicando, e sim software agindo em nome de alguém, um visitante diferente com necessidades diferentes — veja o que um site deve a um visitante automatizado. E o arquivo de identidade que esses mesmos rastreadores procuram está em a atualização sobre llms.txt.

Fontes

• Do sites that block GPTBot get cited less by ChatGPT? — 1.058 domínios, julho de 2026. De onde vêm os números de citação.
• Common Crawl — CCBot — quem opera e o que faz.
• Cloudflare — block AI bots — o padrão e os controles por bot.