A Microsoft incluiu no Foundry, sua plataforma para operar agentes de IA, um ciclo de melhoria contínua, segundo um post no Microsoft Azure Blog publicado na época do Ignite. O ciclo tem quatro etapas que se repetem: estabelecer um padrão, identificar problemas, otimizar e validar.
O que o ciclo traz
Estabelecer. A qualidade é definida por avaliações (evals), que são testes automatizados pontuados com critérios escritos pela própria equipe. Os avaliadores baseados em rubrica agora cobrem segurança além de qualidade (preview). Especialistas podem anotar traces reais dos agentes (preview), e esses traces anotados podem virar conjuntos de dados de avaliação e um benchmark "golden" travado (ambos em preview).
Identificar. O Insights, agora em disponibilidade geral, agrupa problemas recorrentes nos traces, mostra as evidências e aponta uma causa provável. A Microsoft afirma que a mesma visibilidade vale para agentes criados fora do Foundry com LangGraph, LangChain e CrewAI (disponibilidade geral).
Otimizar. O agent optimizer testa mudanças em instruções, skills e escolha de modelo contra as avaliações da equipe. Ele sugere um candidato, mas quem decide o que vai ao ar é a equipe, e nada muda em produção até que a alteração seja aplicada. Novidades em preview: enviar um insight direto ao optimizer, otimização de skills que transforma trabalho anterior e feedback de especialistas em skills versionadas, e otimização de custo, que procura formas mais baratas de rodar um agente, como um modelo menor. O Programmed Training, também em preview, permite que engenheiros escrevam receitas de treinamento em Python executadas em GPUs serverless. Managed Training é o novo nome do fine-tuning gerenciado.
Validar. O Foundry roda testes estatísticos para separar ganhos reais de ruído, e essa checagem pode ficar dentro de um pipeline de release. A avaliação contínua, já disponível, amostra o tráfego em produção com os mesmos avaliadores. Painéis mostram qualidade, segurança, latência e uso de tokens, com alertas quando as notas caem.
Números de clientes
Os resultados abaixo vêm da Microsoft e foram informados pelos clientes, sem verificação independente:
- A Alaska Airlines ajustou um modelo para classificar relatórios de manutenção de aeronaves. Ele marcou 81,2% de fábrica e 91,1% após o ajuste, e profissionais qualificados continuam revisando e decidindo.
- A Heidi relata uma redução estimada de 87% no custo por nota clínica após o pós-treinamento de um modelo de pesos abertos.
- A Docusign diz ter cortado em 90% os custos de processamento de IA com modelos ajustados.
- Testes da própria Microsoft indicam que o model router do Foundry pode economizar até 65% em relação a enviar tudo a um modelo de fronteira.
Também anunciado
Os agentes de voz estão em disponibilidade geral. Os hosted agents comportam mais sessões simultâneas (disponibilidade geral) e iniciam mais rápido (preview). Uma visão de custos por agentes, modelos e ferramentas está em preview, assim como o Microsoft Copilot harness.
O que checar
Várias peças estão em preview, então termos e comportamento podem mudar. O ciclo depende de gente disposta a revisar traces e escrever rubricas, já que o padrão de qualidade sai dos seus próprios especialistas.