Microsoft ha añadido a Foundry, su plataforma para ejecutar agentes de IA, un ciclo de mejora continua, según una publicación del blog de Microsoft Azure difundida en torno a Ignite. El ciclo tiene cuatro pasos que se repiten: fijar un estándar, identificar problemas, optimizar y validar.
Qué incluye el ciclo
Fijar el estándar. La calidad se define con evaluaciones, es decir, pruebas automáticas puntuadas con los criterios que escribe el propio equipo. Los evaluadores basados en rúbricas ahora cubren también la seguridad, además de la calidad (vista previa). Los expertos pueden anotar trazas reales de agentes (vista previa), y esas trazas anotadas pueden convertirse en conjuntos de datos de evaluación y en un banco de pruebas «golden» bloqueado (ambos en vista previa).
Identificar. Insights, que ya tiene disponibilidad general, agrupa los problemas recurrentes entre trazas, muestra las evidencias y apunta una causa probable. Microsoft indica que esa misma visibilidad alcanza a agentes creados fuera de Foundry con LangGraph, LangChain y CrewAI (disponibilidad general).
Optimizar. El agent optimizer prueba cambios en instrucciones, skills y elección de modelo frente a las evaluaciones del equipo. Recomienda una candidata, pero el equipo decide qué se publica, y nada cambia en producción hasta que se aplica. Novedades en vista previa: enviar un insight directamente al optimizador; la optimización de skills, que convierte trabajo previo y comentarios de expertos en skills versionadas; y la optimización de costes, que busca formas más baratas de ejecutar un agente, como un modelo más pequeño. Programmed Training, también en vista previa, permite a los ingenieros escribir en Python recetas de entrenamiento que se ejecutan en GPU sin servidor. Managed Training es el nuevo nombre del ajuste fino gestionado.
Validar. Foundry aplica pruebas estadísticas para separar las mejoras reales del ruido, y esa comprobación puede formar parte de un pipeline de publicación. La evaluación continua, ya disponible, muestrea el tráfico real con los mismos evaluadores. Los paneles muestran calidad, seguridad, latencia y consumo de tokens, con alertas cuando las puntuaciones bajan.
Cifras de clientes
Los resultados siguientes son la versión de Microsoft y datos aportados por los clientes, sin verificación independiente:
- Alaska Airlines ajustó un modelo para clasificar informes de mantenimiento de aeronaves. Obtuvo un 81,2 % de acierto de serie y un 91,1 % tras el ajuste, y el personal cualificado sigue revisando y decidiendo.
- Heidi calcula un coste por nota clínica un 87 % menor tras entrenar posteriormente un modelo de pesos abiertos.
- Docusign afirma haber reducido un 90 % los costes de procesamiento de IA con modelos ajustados.
- Según las pruebas de Microsoft, el model router de Foundry puede ahorrar hasta un 65 % frente a enviarlo todo a un modelo de frontera.
Otros anuncios
Los agentes de voz tienen disponibilidad general. Los agentes alojados admiten más sesiones simultáneas (disponibilidad general) y arrancan más rápido (vista previa). Una vista de costes por agentes, modelos y herramientas está en vista previa, igual que Microsoft Copilot harness.
Qué conviene revisar
Varias piezas están en vista previa, así que las condiciones y el comportamiento pueden cambiar. El ciclo depende de que haya personas dispuestas a revisar trazas y escribir rúbricas, porque el estándar de calidad sale de tus propios expertos.