IBM Research ha publicado los resultados de ALTK-Evolve en una entrada del blog de Hugging Face fechada el 20 de octubre de 2026. El método extrae reglas de comportamiento breves a partir de los intentos anteriores de un agente y las añade al prompt del sistema. No requiere actualizar pesos ni anotación humana. Los autores señalan que un agente ReAct sencillo con GPT-4.1 alcanzó 67.5% Pass^4 en la categoría retail de τ²-bench, por encima de todas las entradas retail de su captura de la clasificación del 12 de octubre de 2026.
Qué se evaluó
τ²-bench, de Sierra, enfrenta a un agente con un cliente simulado, un conjunto de herramientas y una política escrita. Una tarea cuenta como resuelta solo si el estado final de la base de datos coincide con el resultado esperado. Pass^4 significa que el agente resolvió la tarea en los cuatro intentos, así que mide la fiabilidad y no el éxito medio. En este montaje, GPT-4.1 impulsó tanto al agente como la extracción de reglas, y GPT-5.5 hizo de cliente.
Las reglas aprendidas son texto plano. Entre los ejemplos: verificar la identidad antes de cualquier acción sobre un pedido, obtener aprobación explícita antes de modificar la base de datos y ofrecer un desglose detallado del reembolso sin que se pida.
Resultados informados
En tareas retail reservadas para validación (40), Pass^4 subió de 57.5% a 67.5% con el conjunto completo de 292 reglas. En tareas de aerolínea (20), el núcleo reducido de 14 reglas elevó Pass^4 de 35.0% a 45.0%, mientras que el conjunto completo de 101 reglas llegó a 40.0%. Los autores concluyen que la cantidad adecuada de guía depende del dominio.
En el split base completo, el resultado retail supera a RAFT-30B-A3B, con 61.4%, un modelo ajustado con datos sintéticos de retail. En aerolínea, GPT-4.1 con las reglas compactas alcanzó 44%, octavo puesto de la clasificación. Al cambiar a GPT-5.5 se llegó a 82.0%, frente a 66–72% de las entradas frontier incluidas.
Coste y latencia
Las reglas suman tokens de entrada en cada llamada. El coste por conversación en retail pasó de $0.084 a $0.139 con el conjunto completo, un aumento del 65%. El núcleo de 31 reglas costó $0.095. En aerolínea pasó de $0.081 a $0.097 con el núcleo y a $0.107 con el conjunto completo. En las tareas resueltas tanto con reglas como sin ellas, las conversaciones fueron algo más cortas, no más largas. Los autores añaden que el bloque de reglas, idéntico en cada llamada, debería poder recuperarse en gran parte con la caché de prompts en producción, aunque no lo miden.
Límites
Las cifras las informa la propia IBM. Los conjuntos de validación son pequeños, con 40 tareas de retail y 20 de aerolínea, y el cliente es simulado. La entrada enlaza la biblioteca ALTK-Evolve y las dos pull requests de la clasificación, que cualquiera puede revisar.