A Hugging Face publicou um conjunto de adapters de harness para o Qwen3.8-27B. São camadas LoRA pequenas, treinadas com aprendizado por reforço dentro do próprio harness de agente que vai executar o modelo. A equipe treinou um adapter por harness (pi, Hermes Agent e OpenCode) e depois fundiu os três em um único superadapter. Os adapters, os arquivos GGUF, as tarefas de RL e um plugin do safeagents estão reunidos no Hub.
O que os adapters fazem
Os pesos do modelo base continuam congelados. O adapter muda o comportamento do modelo em um harness específico: ele raciocina menos, chama menos ferramentas e acerta mais tarefas de primeira. O exemplo principal é o pi no Terminal-Bench 2.1. O modelo base marca 39% de pass@1 e gasta cerca de 2,9K tokens por tarefa. Com o adapter, chega a 55% com cerca de 1,5K tokens.
Como foi o treinamento
O treino usou o AsyncGRPOTrainer do TRL, o OpenEnv e o Harbor, com os rollouts rodando no Hugging Face Jobs. Os harnesses foram executados como são distribuídos, e o treinador aprendeu a partir dos tokens que eles de fato produziram. O conjunto de tarefas foi filtrado a partir de 1.127 candidatas do Hub, das quais 858 passaram na validação. O dataset publicado traz 871 tarefas de 35 repositórios, e 171 delas são "qualificadas", porque o modelo base só resolve parte das vezes. As três execuções somaram 598 passos. A ferramenta safeagents verificou cerca de 1,3 milhão de chamadas de ferramenta e bloqueou 647.
Resultados do superadapter
Os três adapters foram combinados com metade do peso cada. Com o thinking desligado, o pass@1 médio em seis pares de harness e benchmark subiu de 39,5% para 49,0%. O adapter combinado fez de 53% a 73% menos chamadas de ferramenta e gerou de 44% a 60% menos tokens nas tarefas que os dois modelos resolveram. Com o thinking ligado, ele superou o modelo base no mesmo nível de esforço em cinco dos seis pares e empatou no sexto. As chamadas de ferramenta caíram de 31% a 48% no SWE-bench Pro e, no Terminal-Bench, de 19% a 25%, com a contagem de tokens praticamente estável.
Ressalvas da fonte
- Com o thinking desligado, o adapter específico de cada harness ficou à frente em quatro dos seis pares, então quem usa um só harness deve ficar com o especialista.
- Os resultados não podem ser comparados entre harnesses, porque as configurações padrão diferem, por exemplo na forma de manter os turnos de raciocínio anteriores.
- O peso da fusão foi escolhido no Terminal-Bench 2.1, então esses números são um pouco otimistas.
- A avaliação usou uma tentativa por tarefa, cobrindo as 89 tarefas do Terminal-Bench 2.1 e as 51 tarefas mais difíceis do SWE-bench Pro.
- O texto da fonte a que tivemos acesso foi cortado no meio da seção de avaliação.