IBM Research опубликовала результаты ALTK-Evolve в блоге Hugging Face от 20 октября 2026 года. Метод выделяет короткие поведенческие правила из прежних попыток агента и добавляет их в системный промпт. Обновлять веса и размечать данные вручную не нужно. По словам авторов, обычный ReAct-агент на GPT-4.1 набрал 67,5% Pass^4 в retail-треке τ²-bench - выше любого retail-результата в срезе лидерборда от 12 октября 2026 года.
Что тестировали
τ²-bench от Sierra сводит агента с симулированным клиентом, набором инструментов и письменной политикой. Задача считается решённой, только если итоговое состояние базы данных совпадает с ожидаемым. Pass^4 означает, что агент решил задачу во всех четырёх попытках, то есть метрика показывает надёжность, а не среднюю успешность. В этой конфигурации GPT-4.1 работал и как агент, и как извлекатель правил, а клиента играл GPT-5.5.
Выученные правила - обычный текст. Среди примеров: проверять личность перед любым действием с заказом, получать явное согласие перед изменением базы и по собственной инициативе давать постатейную расшифровку возврата.
Заявленные результаты
На отложенных retail-задачах (40 штук) Pass^4 вырос с 57,5% до 67,5% при полном наборе из 292 правил. На airline-задачах (20 штук) компактное ядро из 14 правил подняло Pass^4 с 35,0% до 45,0%, а полный набор из 101 правила дал 40,0%. Авторы делают вывод: нужный объём подсказок зависит от области.
На полном базовом сплите retail-результат опережает RAFT-30B-A3B с 61,4% - модель, дообученную на синтетических retail-данных. В airline GPT-4.1 с компактными правилами показал 44%, восьмое место в таблице. Если подставить GPT-5.5, результат составил 82,0% против 66-72% у перечисленных топовых решений.
Стоимость и задержки
Правила добавляют входные токены в каждый вызов. Стоимость retail-разговора выросла с $0,084 до $0,139 при полном наборе, то есть на 65%. Ядро из 31 правила обошлось в $0,095. В airline стоимость поднялась с $0,081 до $0,097 с ядром и до $0,107 с полным набором. На задачах, которые решались и с правилами, и без них, разговоры оказались чуть короче, а не длиннее. Авторы добавляют, что один и тот же блок правил в продакшене в основном можно вернуть через кеширование промпта, но этого они не измеряли.
Ограничения
Цифры заявлены самой IBM. Отложенные выборки невелики - 40 retail-задач и 20 airline-задач, - а клиент симулированный. В посте есть ссылки на библиотеку ALTK-Evolve и на два pull request в лидерборд, так что читатели могут всё проверить сами.