A Microsoft publicou o ThinkingBox-Training no GitHub, continuação do seu benchmark ThinkingBox. O benchmark avalia um agente comparando o estado final do banco de dados com o resultado esperado. A nova versão reaproveita esse tipo de checagem executável como sinal de recompensa no pós-treinamento, em tarefas que ficam fora do benchmark.
O que foi medido
A Microsoft ajustou o Qwen3.8-27B com GRPO por 50 passos e depois o avaliou no ThinkingBox-Bench, com 507 tarefas que o modelo não tinha visto no treino. Cada tarefa foi executada 20 vezes.
- O sucesso médio (pass@1) subiu de 51,70% para 60,78%.
- As tarefas concluídas nas 20 tentativas passaram de 38 (7,50%) para 107 (21,10%).
- As tarefas resolvidas ao menos uma vez (pass@20) caíram de 453 (89,35%) para 446 (87,97%).
Para a Microsoft, isso indica refinamento: o modelo ficou mais repetível, não mais abrangente. Os ganhos em pass@1 e no sucesso nas 20 tentativas apareceram nos cinco domínios do benchmark. O pass@20 ficou misto, e o seguro de automóvel teve a maior perda, de 7,0 pontos.
Um exemplo: numa tarefa de reserva de hotel que exigia aprovação do gerente antes de um downgrade, o modelo-base alterou a reserva sem aprovação em 15 de 20 tentativas. O modelo ajustado preservou o estado da reserva e do pagamento nas 20.
Custo por tarefa confiável
Usando o mesmo método de custo estimado do primeiro post, a Microsoft calcula o custo por tarefa aprovada em todas as tentativas em US$ 8,00 para o modelo ajustado, contra US$ 24,36 para o modelo-base. Ela lista o GPT-5.4 a US$ 6,80, o GPT-6 Astra a US$ 7,45 e o Claude Opus 5.5 a US$ 7,80. Esses valores são um índice comparativo de serviço, não faturas de nuvem, e não incluem o custo da rodada de treinamento nem o das sondagens usadas para escolher as tarefas de treino.
Como funciona o treinamento
A maioria das recompensas vem de checagens determinísticas do estado final do banco de dados: a recompensa é 1 ou 0, e o caminho percorrido pelo agente não importa. Uma minoria de requisitos específicos usa um LLM como juiz para responder a uma pergunta binária de rubrica. As tarefas de treino foram filtradas offline: cada candidata foi testada contra o modelo-base, e as que ele sempre errava ou sempre acertava foram descartadas, porque o GRPO só aprende com grupos de resultados mistos. O conjunto final ficou com 187 tarefas.
Limites
O benchmark e o conjunto de treino compartilham o framework ThinkingBox, a configuração de usuário simulado e o estilo de avaliação, o que, segundo a Microsoft, limita o alcance da alegação de transferência. O conjunto de 187 tarefas é privado; o repositório traz uma lista pública de exemplo que serve apenas para exercitar a interface. A rodada de referência usou 24 GPUs H100 em três nós, com Linux, Python 3.12 e Verl 0.9.0.
O lado do benchmark também é útil por si só. O Claude Opus 5.5 marcou 0,66 ponto a mais que o Claude Opus 5 em pass@1, mas passou nas mesmas 241 tarefas em todas as 20 tentativas, ou seja, uma nota de destaque maior não significou comportamento mais confiável.