Una publicación conjunta de Microsoft y Hugging Face describe un nuevo marco de evaluación de agentes, ThinkingBox, construido sobre una idea simple: calificar a un agente de IA por lo que realmente escribió en una base de datos, no por lo que dijo en su respuesta final.
El ejemplo que motiva el proyecto es un agente de soporte que atiende una entrega tardía. Hace nueve llamadas a herramientas, lee correctamente la política de reembolsos y cierra el ticket como resuelto. Dos cosas siguen mal: la excepción del transportista sigue abierta, por lo que el ticket debería haber quedado en espera, y la clienta nunca recibió respuesta a su pregunta real. Un evaluador que solo revisara las llamadas a herramientas o la última frase marcaría esto como un éxito. La base de datos no está de acuerdo.
ThinkingBox-Bench ejecuta 507 flujos de trabajo empresariales con estado en los dominios de retail, seguros de auto, viajes, neobanco y consultoría, cada uno repetido 20 veces por modelo contra 18 LLM propietarios y de peso abierto, partiendo cada intento de un backend limpio idéntico. En una ablación de conjunto común de 121.680 intentos válidos en 12 modelos, 79.853 intentos fallaron las verificaciones ejecutables aunque el 67,24% de esos fallos terminó de forma limpia sin ningún error de herramienta reportado. De los fallos, el 77,61% tenía valores de campo incorrectos, el 43,30% produjo efectos adicionales no deseados y el 25,36% carecía de un efecto requerido.
La precisión en un solo intento (pass@1) y la consistencia en los 20 intentos (20/20 observado) cuentan historias muy distintas. Claude Opus 5.5 lidera el pass@1 general con 67,16%, con Kimi-K3 como el modelo de peso abierto más fuerte con 57,37%. Pero Kimi-K3 resuelve el 93,89% de las tareas al menos una vez mientras aprueba solo el 13,41% (68 de 507) en cada uno de los intentos; Claude Opus 5 resuelve menos tareas al menos una vez (79,09%) pero aprueba el 47,53% (241 de 507) todas las veces. Un modelo más nuevo, Claude Opus 5.5, obtuvo un promedio más alto que Claude Opus 5 pero aprobó exactamente el mismo número de tareas (241) en los 20 intentos, lo que significa que la ganancia de precisión no compró ninguna fiabilidad adicional.
El desglose diagnóstico de los fallos es la parte más accionable: 79,9% son errores de uso de herramientas, 10,3% son actualizaciones de estado incorrectas, 7,0% son resoluciones incompletas para el usuario, y solo 2,9% involucra ninguna acción que cambie el estado. Eso significa que la mayoría de los fallos son problemas de reintento y recuperación, no problemas de razonamiento.
ThinkingBox ya está disponible a través de Hugging Face y OpenEnv, con el marco bajo licencia MIT y los datos del benchmark bajo CDLA-Permissive-2.0.