Ir para o conteúdo

Microsoft Foundry ganha ciclo de teste e ajuste para agentes

Resposta curta

A Microsoft anunciou no Ignite a melhoria contínua do Foundry. As equipes definem critérios de qualidade, revisam traces dos agentes, agrupam falhas recorrentes e testam correções antes do lançamento. O Insights já está em disponibilidade geral; otimização de skills e de custo estão em preview. Nada vai para produção sem aprovação humana, e os resultados passam por testes estatísticos.

O que isso significa na operação

Se você toca suporte ou operações com agentes, a parte útil é o ciclo em volta do modelo. Um especialista marca quais conversas reais deram certo, essas marcações viram o conjunto de testes, e toda mudança de prompt, skill ou modelo precisa superá-lo antes de ir ao ar. Isso dá a uma equipe de 10 a 200 pessoas um jeito de alterar agentes sem quebrá-los, além de uma trava de release no GitHub Actions ou no Azure DevOps. A maioria dos recursos de otimização ainda está em preview, então teste em um único agente, com uma métrica clara, como a acurácia na classificação de tickets, antes de depender deles.

A Microsoft incluiu no Foundry, sua plataforma para operar agentes de IA, um ciclo de melhoria contínua, segundo um post no Microsoft Azure Blog publicado na época do Ignite. O ciclo tem quatro etapas que se repetem: estabelecer um padrão, identificar problemas, otimizar e validar.

O que o ciclo traz

Estabelecer. A qualidade é definida por avaliações (evals), que são testes automatizados pontuados com critérios escritos pela própria equipe. Os avaliadores baseados em rubrica agora cobrem segurança além de qualidade (preview). Especialistas podem anotar traces reais dos agentes (preview), e esses traces anotados podem virar conjuntos de dados de avaliação e um benchmark "golden" travado (ambos em preview).

Identificar. O Insights, agora em disponibilidade geral, agrupa problemas recorrentes nos traces, mostra as evidências e aponta uma causa provável. A Microsoft afirma que a mesma visibilidade vale para agentes criados fora do Foundry com LangGraph, LangChain e CrewAI (disponibilidade geral).

Otimizar. O agent optimizer testa mudanças em instruções, skills e escolha de modelo contra as avaliações da equipe. Ele sugere um candidato, mas quem decide o que vai ao ar é a equipe, e nada muda em produção até que a alteração seja aplicada. Novidades em preview: enviar um insight direto ao optimizer, otimização de skills que transforma trabalho anterior e feedback de especialistas em skills versionadas, e otimização de custo, que procura formas mais baratas de rodar um agente, como um modelo menor. O Programmed Training, também em preview, permite que engenheiros escrevam receitas de treinamento em Python executadas em GPUs serverless. Managed Training é o novo nome do fine-tuning gerenciado.

Validar. O Foundry roda testes estatísticos para separar ganhos reais de ruído, e essa checagem pode ficar dentro de um pipeline de release. A avaliação contínua, já disponível, amostra o tráfego em produção com os mesmos avaliadores. Painéis mostram qualidade, segurança, latência e uso de tokens, com alertas quando as notas caem.

Números de clientes

Os resultados abaixo vêm da Microsoft e foram informados pelos clientes, sem verificação independente:

  • A Alaska Airlines ajustou um modelo para classificar relatórios de manutenção de aeronaves. Ele marcou 81,2% de fábrica e 91,1% após o ajuste, e profissionais qualificados continuam revisando e decidindo.
  • A Heidi relata uma redução estimada de 87% no custo por nota clínica após o pós-treinamento de um modelo de pesos abertos.
  • A Docusign diz ter cortado em 90% os custos de processamento de IA com modelos ajustados.
  • Testes da própria Microsoft indicam que o model router do Foundry pode economizar até 65% em relação a enviar tudo a um modelo de fronteira.

Também anunciado

Os agentes de voz estão em disponibilidade geral. Os hosted agents comportam mais sessões simultâneas (disponibilidade geral) e iniciam mais rápido (preview). Uma visão de custos por agentes, modelos e ferramentas está em preview, assim como o Microsoft Copilot harness.

O que checar

Várias peças estão em preview, então termos e comportamento podem mudar. O ciclo depende de gente disposta a revisar traces e escrever rubricas, já que o padrão de qualidade sai dos seus próprios especialistas.

Fonte: Azure Blog · No Atlas: Microsoft →

As ferramentas desta notícia

Próximo passo

Visibility Analyzer

Uma notícia sobre IA não diz como os assistentes veem o seu site. O Visibility Analyzer verifica isso no site real: quais respostas citam você, quais páginas o motor não consegue recuperar e o que corrigir primeiro. Rodar é grátis.

Rodar uma auditoria de visibilidade grátis

Rodar é grátis. Sem cartão.

Preço
Grátis
Duração
Uma rodada, minutos

Plano grátis: duas análises por dia, sem cartão.