A IBM Research publicou os resultados do ALTK-Evolve em um post no blog da Hugging Face, datado de 20 de outubro de 2026. O método extrai regras curtas de comportamento das tentativas anteriores de um agente e as anexa ao prompt de sistema. Não exige atualização de pesos nem anotação humana. Segundo os autores, um agente ReAct simples com GPT-4.1 chegou a 67,5% de Pass^4 na trilha de varejo do τ²-bench, acima de todas as entradas de varejo do snapshot do leaderboard de 12 de outubro de 2026.
O que foi testado
O τ²-bench, da Sierra, coloca um agente diante de um cliente simulado, com um conjunto de ferramentas e uma política escrita. Uma tarefa só conta como resolvida se o estado final do banco de dados for igual ao resultado esperado. Pass^4 significa que o agente resolveu a tarefa nas quatro tentativas, ou seja, mede confiabilidade, não sucesso médio. Nesta configuração, o GPT-4.1 alimentou tanto o agente quanto a extração de regras, e o GPT-5.5 fez o papel do cliente.
As regras aprendidas são texto puro. Entre os exemplos estão verificar a identidade antes de qualquer ação em pedidos, obter aprovação explícita antes de alterar o banco de dados e detalhar item por item o reembolso sem que o cliente peça.
Resultados informados
Nas tarefas de varejo reservadas para validação (40), o Pass^4 subiu de 57,5% para 67,5% com o conjunto completo de 292 regras. Nas tarefas de companhia aérea (20), o núcleo menor, de 14 regras, elevou o Pass^4 de 35,0% para 45,0%, enquanto o conjunto completo de 101 regras chegou a 40,0%. Os autores concluem que a quantidade certa de orientação depende do domínio.
Na divisão base completa, o resultado de varejo fica à frente do RAFT-30B-A3B, com 61,4%, um modelo ajustado com dados sintéticos de varejo. Em companhia aérea, o GPT-4.1 com as regras compactas chegou a 44%, oitavo lugar no ranking. Com o GPT-5.5 no lugar, o resultado foi de 82,0%, contra 66–72% das entradas de ponta listadas.
Custo e latência
As regras acrescentam tokens de entrada a cada chamada. O custo por conversa no varejo passou de US$ 0,084 para US$ 0,139 com o conjunto completo, alta de 65%. O núcleo de 31 regras custou US$ 0,095. Em companhia aérea, o custo foi de US$ 0,081 para US$ 0,097 com o núcleo e US$ 0,107 com o conjunto completo. Nas tarefas resolvidas tanto com quanto sem as regras, as conversas ficaram ligeiramente mais curtas, não mais longas. Os autores acrescentam que o bloco de regras idêntico deve ser em boa parte recuperável com prompt caching em produção, embora não tenham medido isso.
Limites
Os números são autodeclarados pela IBM. Os conjuntos de validação são pequenos, com 40 tarefas de varejo e 20 de companhia aérea, e o cliente é simulado. O post traz links para a biblioteca ALTK-Evolve e para os dois pull requests no leaderboard, que o leitor pode conferir.