Allowlist de crawlers de IA en 2026: qué bots dejar pasar, bloquear o ignorar

Dejar entrar a un rastreador de IA es un intercambio, y conviene enunciarlo en los términos que usaría un dueño. Entregas una copia de contenido que ya publicas gratis. Recibes a cambio la posibilidad de ser la fuente que un asistente nombra cuando tu cliente le pregunta qué comprar.

Si el intercambio es bueno depende del rastreador, porque hacen cuatro trabajos distintos y solo algunos devuelven algo. Abajo: qué hace realmente cada uno de los 28 bots, un robots.txt que funciona, las reglas de Cloudflare que lo aplican y cómo comprobar que se sostiene.

Las cuatro tareas de un crawler

Antes de permitir o bloquear, entiende qué tarea realiza el bot. Un mismo proveedor a menudo opera 2-4 crawlers separados para fines distintos.

El error más común: bloquear las cuatro "para proteger el contenido" — borrando al mismo tiempo el índice y la navegación en sesión. Esos dos suman el 80% del tráfico con citaciones. Para entender por qué el índice importa tanto, lee la guía completa de AEO 2026.

Tabla de identidad de 28 bots (mayo 2026)

Un robots.txt que funciona

Para un sitio B2B que quiere máxima elegibilidad de citaciones y cero contribución al entrenamiento:

# Citación — todo permitido
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: MistralAI-User
Allow: /

User-agent: Kagibot
Allow: /

User-agent: Brave-SearchBot
Allow: /

User-agent: xAI-Bot
Allow: /

User-agent: YouBot
Allow: /

# Solo entrenamiento — bloquear
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: bingbot-Extended
Disallow: /

# Hostiles / sin retorno en citaciones
User-agent: anthropic-ai
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: Diffbot
Disallow: /

User-agent: Omgilibot
Disallow: /

User-agent: Webzio-Extended
Disallow: /

# Todos los demás
User-agent: *
Allow: /

Sitemap: https://tudominio.com/sitemap.xml

Cambia GPTBot / ClaudeBot a Allow si quieres entrar en el entrenamiento de la próxima generación de modelos (la mayoría de marcas B2B se beneficia — el modelo aprende tu terminología). Mantén Disallow solo si publicaste investigación propietaria que no quieres ver absorbida.

Aplicación en Cloudflare

robots.txt lo respetan los bots compatibles. Bytespider, vendors de scrape-as-a-service y scrapers vía proxy residencial lo ignoran. La capa de aplicación en 2026 es el panel AI Bots de Cloudflare (Security → Bots → AI Bots, disponible en plan Free desde 2025):

1. Desactiva el toggle "Block AI Scrapers" — es el martillo ciego que cuesta 70% del tráfico de citaciones.
2. Activa reglas por bot con:
   • PerplexityBot, OAI-SearchBot, Claude-SearchBot, Google-Extended, Applebot-Extended: Allow.
   • GPTBot, ClaudeBot: Allow o Managed Challenge según tu política de entrenamiento.
   • Bytespider, Amazonbot, Meta-ExternalAgent, FacebookBot: Block.
3. Agrega una regla WAF custom con (cf.client.bot eq false) and (http.user_agent contains "ai" or http.user_agent contains "bot") y acción Managed Challenge para atrapar impostores con user-agent "AI-style" que no están en la lista verificada.
4. Coloca un honeypot en /disallow-honeypot/ referenciado solo desde llms.txt, con rate-limit por IP en 1 y acción Block 24h. Atrapa scrapers que ignoran robots.txt — por diseño ningún crawler legítimo de IA va a esa ruta.

Verificación

Tras desplegar la política, verifica semanalmente:

• tail -f /var/log/nginx/access.log | grep -E "PerplexityBot|OAI-SearchBot|Claude-SearchBot" — confirma que los bots de citación siguen entrando.
• Cloudflare Analytics → Security → Bot traffic — gráfica Allowed/Challenged/Blocked en el tiempo. Espera una caída de 30-50% en tráfico de IA bloqueado tras el rollout; son los scrapers de entrenamiento yéndose.
• Participación de citaciones en Perplexity (consultas que deberían citarte) — debería subir 2-4 semanas después de permitir PerplexityBot, si antes era nula.
• Google Search Console → AI Overview impressions (rollout a lo largo de 2026) — no debe desplomarse.

Si PerplexityBot deja de entrar tras el rollout, el orden de tus reglas en Cloudflare está mal (un Block más amplio coincide antes). Reordena para que los Allow por bot vayan primero. La pieza complementaria — qué declarar a esos crawlers cuando sí entran — es llms.txt.

Por qué el bloqueo por defecto es el error

Tres de cada cuatro crawlers de IA hacen algo que te conviene: indexar tu contenido para que sea citado, navegar tu página viva cuando un usuario pregunta, entrenar modelos futuros para que conozcan tu marca. Solo uno — scrapers puros como Bytespider — no aporta nada útil.

El default de 2024 ("bloquear toda IA") fue correcto cuando no existían rutas de citación y los crawlers se llevaban contenido sin retorno. En 2026 las rutas existen (las citaciones de PerplexityBot ya generan tráfico referido medible; Google AI Overview cita con atribución; ChatGPT-User trae datos en vivo a las respuestas) y la asimetría se invirtió: bloquear es la opción cara.

12 líneas de robots.txt y 4 reglas de Cloudflare son la diferencia entre ser citado en las respuestas que tus clientes preguntan a las herramientas de IA y ser invisible. El trabajo lleva una hora; el efecto se acumula durante años. Para entender cómo encajan llms.txt, ai.txt y robots.txt entre sí, ver llms.txt vs ai.txt vs robots.txt.

Una salvedad sobre el tráfico que esto compra. Una parte creciente de lo que llega después de que un rastreador te lea no es una persona haciendo clic, sino software actuando en nombre de alguien, un visitante distinto con necesidades distintas — mira qué le debe un sitio a un visitante automatizado. Y el archivo de identidad que buscan esos mismos rastreadores está en la actualización sobre llms.txt.