Microsoft ha publicado en GitHub ThinkingBox-Training, continuación de su benchmark ThinkingBox. El benchmark evalúa a un agente comparando el estado final de la base de datos con el resultado esperado. La nueva versión reutiliza ese mismo tipo de comprobación ejecutable como señal de recompensa en el posentrenamiento, con tareas ajenas al benchmark.
Qué se midió
Microsoft ajustó Qwen3.8-27B con GRPO durante 50 pasos y lo evaluó después en ThinkingBox-Bench, de 507 tareas, con las que no había entrenado. Cada tarea se ejecutó 20 veces.
- El éxito medio (pass@1) subió del 51,70 % al 60,78 %.
- Las tareas completadas en los 20 intentos pasaron de 38 (7,50 %) a 107 (21,10 %).
- Las tareas resueltas al menos una vez (pass@20) bajaron de 453 (89,35 %) a 446 (87,97 %).
Microsoft interpreta el resultado como un afinado: el modelo se volvió más repetible, no más amplio. Las mejoras en pass@1 y en éxito en los 20 intentos aparecieron en los cinco dominios del benchmark. En pass@20 los resultados fueron desiguales, y el seguro de automóvil registró la mayor caída, de 7,0 puntos.
Un ejemplo: en una tarea de reserva de hotel que exigía aprobación del responsable antes de rebajar la categoría, el modelo base modificó la reserva sin aprobación en 15 de 20 intentos. El modelo ajustado conservó el estado de la reserva y del pago en los 20.
Coste por tarea fiable
Con el mismo método de coste estimado de su primera publicación, Microsoft sitúa el coste por tarea superada en todos los intentos en 8,00 $ para el modelo ajustado, frente a 24,36 $ del modelo base. Indica 6,80 $ para GPT-5.4, 7,45 $ para GPT-6 Astra y 7,80 $ para Claude Opus 5.5. Son cifras de un índice comparativo de servicio, no facturas de la nube, y excluyen el coste del entrenamiento y de las pruebas usadas para elegir las tareas de entrenamiento.
Cómo funciona el entrenamiento
La mayoría de las recompensas son comprobaciones deterministas del estado final de la base de datos: la recompensa es 1 o 0 y el camino que siguió el agente no cuenta. Una minoría de requisitos concretos recurre a un juez LLM que responde una pregunta binaria de una rúbrica. Las tareas de entrenamiento se filtraron sin conexión: cada candidata se probó con el modelo base y se descartaron las que siempre fallaba o siempre superaba, porque GRPO solo aprende de grupos con resultados mixtos. El conjunto final quedó en 187 tareas.
Límites
El benchmark y el conjunto de entrenamiento comparten el marco ThinkingBox, la configuración de usuario simulado y el estilo de evaluación, lo que según Microsoft limita el alcance de la afirmación de transferencia. El conjunto de 187 tareas es privado; el repositorio incluye una lista pública de muestra que solo sirve para probar la interfaz. La ejecución de referencia usó 24 GPU H100 repartidas en tres nodos, con Linux, Python 3.12 y Verl 0.9.0.
La parte del benchmark también resulta útil por sí sola. Claude Opus 5.5 sacó 0,66 puntos más que Claude Opus 5 en pass@1, pero superó las mismas 241 tareas en los 20 intentos, de modo que una puntuación principal más alta no implicó un comportamiento más fiable.