На конференции по обучению роботов (Conference on Robot Learning) в Остине, штат Техас, NVIDIA объявила сразу несколько открытых релизов для робототехники. Подробности приведены в блоге NVIDIA. Общая идея набора - обучать роботов в симуляции тонкой манипуляции: совмещать шестерни, подключать кабели, собирать мелкие детали. Ходьба и перемещение по пространству здесь не в центре внимания.
GR00T 2
Главный релиз - GR00T 2, открытая модель «мир-действие» на базе NVIDIA Cosmos. Её обучали на данных роботов и людей, включая 100 000 часов открытых съёмок NVIDIA от первого лица. NVIDIA приводит такие результаты:
- без демонстраций под конкретную задачу модель хотя бы раз выполнила 40 из 50 оценочных задач;
- с одной демонстрацией на задачу средний успех по 50 задачам составил 71%, а с пятью - 95%;
- ИИ-агенты могут обращаться к её API и вспомогательным инструментам, чтобы выстраивать цепочки навыков и исправлять ошибки.
По словам NVIDIA, модель входит в тройку лучших на четырёх публичных бенчмарках: RoboCasa365, RoboLab, RoboDojo и MolmoSpaces. Среди первых пользователей в публикации названы Nexuni, которая проверяет работу с бельём, и Foxconn, применяющая модель для автоматизации производства серверов. Siemens оценивает её, а MicroAGI использует версию, дообученную с подкреплением, для замены кабелей Ethernet роботизированной рукой.
Isaac Lab 3.0 и Newton
В Isaac Lab 3.0 агенты помогают настраивать среды для обучения, а ещё появилась библиотека дообучения с подкреплением для базовых моделей вроде GR00T. Более тесная интеграция с физическим движком Newton позволяет моделировать деформируемые объекты, такие как кабели и ткань, а также роботизированные кисти с большим числом суставов. На одном бенчмарке по ловкой манипуляции с опорой на зрение NVIDIA сообщает о росте пропускной способности обучения до 2,5 раза относительно Isaac Lab 2.3 на PhysX.
Отдельный результат - AlphaNIST: одна политика обучается сразу на всех 20 задачах сборочного стенда NIST Assembly Task Board. По данным NVIDIA, успех на обучении превышает 98% против 81% у отдельных политик под каждую задачу, а GPU-времени уходит примерно в 39 раз меньше.
Оценка и агенты
К конференции вышло превью для разработчиков Isaac Lab-Arena 0.4. На нём построены два новых открытых бенчмарка: DexBench от RLWRLD с 15 задачами в четырёх сценах (ритейл, логистика, производство и гостеприимство) и VABAR от UC Berkeley с шестью промышленными задачами. Фреймворк Graph-as-Policy из UC Berkeley с помощью агентов связывает отдельные навыки в программы для робота, которые инженеры могут прочитать и проверить до запуска. Его изучают Ambi Robotics, Bosch Research и Siemens.
Что пока не подтверждено
Все цифры принадлежат самой NVIDIA или её партнёрам и получены на симуляционных бенчмарках и оценках. В источнике речь идёт о пилотах и тестах, а не о промышленном внедрении. Цен и условий лицензирования там нет, кроме того что релизы названы открытыми.