Allowlist de crawlers de IA en 2026: qué bots dejar pasar, bloquear o ignorar

En 2026 todos los asistentes de IA serios rastrean la web abierta. Cada uno tiene su crawler, cada uno se identifica con un user-agent y cada uno cumple un papel: entrenamiento, indexación, navegación dentro de la sesión o citación. Tratarlos como un solo balde indiferenciado de "AI scrapers" — que es lo que hace el botón "bloquear todo" de Cloudflare por defecto — deja sobre la mesa ingresos por citaciones y entrena a los scrapers serios a ignorar robots.txt por completo.

Este es el cheat sheet 2026: una tabla de identidad con 28 bots, el marco de tres políticas (allow / training-only / block) y una configuración funcional de robots.txt + Cloudflare que protege tus datos sin cortar tráfico de IA.

Las cuatro tareas de un crawler

Antes de permitir o bloquear, entiende qué tarea realiza el bot. Un mismo proveedor a menudo opera 2-4 crawlers separados para fines distintos.

El error más común: bloquear las cuatro "para proteger el contenido" — borrando al mismo tiempo el índice y la navegación en sesión. Esos dos suman el 80% del tráfico con citaciones.

Tabla de identidad de 28 bots (mayo 2026)

Un robots.txt que funciona

Para un sitio B2B que quiere máxima elegibilidad de citaciones y cero contribución al entrenamiento:

# Citación — todo permitido
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: MistralAI-User
Allow: /

User-agent: Kagibot
Allow: /

User-agent: Brave-SearchBot
Allow: /

User-agent: xAI-Bot
Allow: /

User-agent: YouBot
Allow: /

# Solo entrenamiento — bloquear
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: bingbot-Extended
Disallow: /

# Hostiles / sin retorno en citaciones
User-agent: anthropic-ai
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: Diffbot
Disallow: /

User-agent: Omgilibot
Disallow: /

User-agent: Webzio-Extended
Disallow: /

# Todos los demás
User-agent: *
Allow: /

Sitemap: https://tudominio.com/sitemap.xml

Cambia GPTBot / ClaudeBot a Allow si quieres entrar en el entrenamiento de la próxima generación de modelos (la mayoría de marcas B2B se beneficia — el modelo aprende tu terminología). Mantén Disallow solo si publicaste investigación propietaria que no quieres ver absorbida.

Aplicación en Cloudflare

robots.txt lo respetan los bots compatibles. Bytespider, vendors de scrape-as-a-service y scrapers vía proxy residencial lo ignoran. La capa de aplicación en 2026 es el panel AI Bots de Cloudflare (Security → Bots → AI Bots, disponible en plan Free desde 2025):

1. Desactiva el toggle "Block AI Scrapers" — es el martillo ciego que cuesta 70% del tráfico de citaciones.
2. Activa reglas por bot con:
   • PerplexityBot, OAI-SearchBot, Claude-SearchBot, Google-Extended, Applebot-Extended: Allow.
   • GPTBot, ClaudeBot: Allow o Managed Challenge según tu política de entrenamiento.
   • Bytespider, Amazonbot, Meta-ExternalAgent, FacebookBot: Block.
3. Agrega una regla WAF custom con (cf.client.bot eq false) and (http.user_agent contains "ai" or http.user_agent contains "bot") y acción Managed Challenge para atrapar impostores con user-agent "AI-style" que no están en la lista verificada.
4. Coloca un honeypot en /disallow-honeypot/ referenciado solo desde llms.txt, con rate-limit por IP en 1 y acción Block 24h. Atrapa scrapers que ignoran robots.txt — por diseño ningún crawler legítimo de IA va a esa ruta.

Verificación

Tras desplegar la política, verifica semanalmente:

• tail -f /var/log/nginx/access.log | grep -E "PerplexityBot|OAI-SearchBot|Claude-SearchBot" — confirma que los bots de citación siguen entrando.
• Cloudflare Analytics → Security → Bot traffic — gráfica Allowed/Challenged/Blocked en el tiempo. Espera una caída de 30-50% en tráfego AI bloqueado tras el rollout; son los scrapers de entrenamiento yéndose.
• Participación de citaciones en Perplexity (consultas que deberían citarte) — debería subir 2-4 semanas después de permitir PerplexityBot, si antes era nula.
• Google Search Console → AI Overview impressions (rollout a lo largo de 2026) — no debe desplomarse.

Si PerplexityBot deja de entrar tras el rollout, el orden de tus reglas en Cloudflare está mal (un Block más amplio coincide antes). Reordena para que los Allow por bot vayan primero.

Por qué el bloqueo por defecto es el error

Tres de cada cuatro crawlers de IA hacen algo que te conviene: indexar tu contenido para que sea citado, navegar tu página viva cuando un usuario pregunta, entrenar modelos futuros para que conozcan tu marca. Solo uno — scrapers puros como Bytespider — no aporta nada útil.

El default de 2024 ("bloquear toda IA") fue correcto cuando no existían rutas de citación y los crawlers se llevaban contenido sin retorno. En 2026 las rutas existen (las citaciones de PerplexityBot ya generan tráfico referido medible; Google AI Overview cita con atribución; ChatGPT-User trae datos en vivo a las respuestas) y la asimetría se invirtió: bloquear es la opción cara.

12 líneas de robots.txt y 4 reglas de Cloudflare son la diferencia entre ser citado en las respuestas que tus clientes preguntan a las herramientas de IA y ser invisible. El trabajo lleva una hora; el efecto se acumula durante años.