Что такое ARC-AGI-3?

Первые два теста ARC были статичными головоломками: несколько примеров преобразования сетки, потом новая сетка, которую надо достроить. Модели научились их решать. ARC-AGI-3, запущенный 25 марта 2026, меняет саму форму вопроса. Агента помещают в одну из сотен пошаговых сред, сделанных вручную, и не говорят ничего - ни правил, ни что считается победой, ни какие из его действий вообще что-то значат. Он должен исследовать, замечать, что меняется от его ходов, строить гипотезу, планировать на несколько шагов вперёд и исправляться, когда гипотеза не сошлась.

Оценка - не «дошёл ли до конца», а «насколько эффективно научился», и мерка - люди, которым дали те же игры без подготовки. Поэтому фонд пишет: человек - 100 %, топовые модели на запуске - 0,51 %. Модели, которые сдают юридические экзамены и пишут рабочий код, не смогли разобраться в игре, которую ребёнок решает за несколько минут. Позиция фонда прямая: пока этот разрыв есть, AGI нет, - и под закрытие разрыва выделено два миллиона долларов призовых.

ARC-AGI-3 хорошо измеряет одну узкую вещь: освоение абстрактной задачи с нуля. Он ничего не говорит о том, точно ли модель читает ваши договоры, выполняет ли процедуру возврата из четырнадцати шагов и остаётся ли вежливой на четырёхсотом обращении за день. Это разные навыки, и модели, близкие на ARC, могут сильно расходиться на них.

Так что читайте новости о тестах, как результаты лаборатории для автомобиля: интересно, иногда решающе, но никогда не вместо тест-драйва. Единственный балл, который важен для покупки, - тот, что измерен на ваших задачах, на ваших данных, до и после изменения. Это и есть проверка, которую мы делаем в диагностике, - и та, которую большинство поставщиков предпочли бы, чтобы вы не делали.