Saltar al contenido

Microsoft Foundry suma un ciclo de pruebas y ajuste para agentes

Respuesta corta

Microsoft anunció en Ignite la mejora continua para Foundry. Los equipos definen criterios de calidad, revisan trazas de agentes, agrupan fallos recurrentes y prueban correcciones antes de publicarlas. Insights tiene disponibilidad general; la optimización de skills y de costes está en vista previa. Nada llega a producción sin que una persona lo aplique, y los resultados se validan estadísticamente.

Qué significa para las operaciones

Si gestionas soporte u operaciones con agentes, lo valioso es el ciclo que rodea al modelo. Un experto marca qué conversaciones reales salieron bien, esas marcas se convierten en el conjunto de pruebas y cada cambio de prompt, skill o modelo tiene que superarlo antes de publicarse. Así, un equipo de 10 a 200 personas puede modificar sus agentes sin romperlos, y disponer de una puerta de control de versiones en GitHub Actions o Azure DevOps. Casi todas las funciones de optimización siguen en vista previa: pruébalas con un solo agente y una métrica clara, como la precisión al clasificar tickets, antes de depender de ellas.

Microsoft ha añadido a Foundry, su plataforma para ejecutar agentes de IA, un ciclo de mejora continua, según una publicación del blog de Microsoft Azure difundida en torno a Ignite. El ciclo tiene cuatro pasos que se repiten: fijar un estándar, identificar problemas, optimizar y validar.

Qué incluye el ciclo

Fijar el estándar. La calidad se define con evaluaciones, es decir, pruebas automáticas puntuadas con los criterios que escribe el propio equipo. Los evaluadores basados en rúbricas ahora cubren también la seguridad, además de la calidad (vista previa). Los expertos pueden anotar trazas reales de agentes (vista previa), y esas trazas anotadas pueden convertirse en conjuntos de datos de evaluación y en un banco de pruebas «golden» bloqueado (ambos en vista previa).

Identificar. Insights, que ya tiene disponibilidad general, agrupa los problemas recurrentes entre trazas, muestra las evidencias y apunta una causa probable. Microsoft indica que esa misma visibilidad alcanza a agentes creados fuera de Foundry con LangGraph, LangChain y CrewAI (disponibilidad general).

Optimizar. El agent optimizer prueba cambios en instrucciones, skills y elección de modelo frente a las evaluaciones del equipo. Recomienda una candidata, pero el equipo decide qué se publica, y nada cambia en producción hasta que se aplica. Novedades en vista previa: enviar un insight directamente al optimizador; la optimización de skills, que convierte trabajo previo y comentarios de expertos en skills versionadas; y la optimización de costes, que busca formas más baratas de ejecutar un agente, como un modelo más pequeño. Programmed Training, también en vista previa, permite a los ingenieros escribir en Python recetas de entrenamiento que se ejecutan en GPU sin servidor. Managed Training es el nuevo nombre del ajuste fino gestionado.

Validar. Foundry aplica pruebas estadísticas para separar las mejoras reales del ruido, y esa comprobación puede formar parte de un pipeline de publicación. La evaluación continua, ya disponible, muestrea el tráfico real con los mismos evaluadores. Los paneles muestran calidad, seguridad, latencia y consumo de tokens, con alertas cuando las puntuaciones bajan.

Cifras de clientes

Los resultados siguientes son la versión de Microsoft y datos aportados por los clientes, sin verificación independiente:

  • Alaska Airlines ajustó un modelo para clasificar informes de mantenimiento de aeronaves. Obtuvo un 81,2 % de acierto de serie y un 91,1 % tras el ajuste, y el personal cualificado sigue revisando y decidiendo.
  • Heidi calcula un coste por nota clínica un 87 % menor tras entrenar posteriormente un modelo de pesos abiertos.
  • Docusign afirma haber reducido un 90 % los costes de procesamiento de IA con modelos ajustados.
  • Según las pruebas de Microsoft, el model router de Foundry puede ahorrar hasta un 65 % frente a enviarlo todo a un modelo de frontera.

Otros anuncios

Los agentes de voz tienen disponibilidad general. Los agentes alojados admiten más sesiones simultáneas (disponibilidad general) y arrancan más rápido (vista previa). Una vista de costes por agentes, modelos y herramientas está en vista previa, igual que Microsoft Copilot harness.

Qué conviene revisar

Varias piezas están en vista previa, así que las condiciones y el comportamiento pueden cambiar. El ciclo depende de que haya personas dispuestas a revisar trazas y escribir rúbricas, porque el estándar de calidad sale de tus propios expertos.

Fuente: Azure Blog · En el Atlas: Microsoft →

Las herramientas de esta noticia

Siguiente paso

Visibility Analyzer

Una noticia sobre IA no dice cómo los asistentes ven tu sitio. El Visibility Analyzer lo comprueba en el sitio real: qué respuestas te citan, qué páginas el motor no puede recuperar y qué arreglar primero. Ejecutarlo es gratis.

Lanzar una auditoría de visibilidad gratuita

Lanzarlo es gratis. Sin tarjeta.

Precio
Gratis
Duración
Una ejecución, minutos

Plan gratuito: dos análisis al día, sin tarjeta.