NVIDIA aprovechó la Conference on Robot Learning, celebrada en Austin (Texas), para anunciar un conjunto de lanzamientos abiertos de robótica, que detalla en el blog de NVIDIA. El hilo común es entrenar robots en simulación para manipulación delicada, como alinear engranajes, conectar cables y ensamblar piezas pequeñas, además de las tareas de caminar o desplazarse.
GR00T 2
La pieza principal es GR00T 2, un modelo abierto de acción del mundo construido sobre NVIDIA Cosmos. Se entrenó con datos de robots y de personas, incluidas 100.000 horas de grabaciones egocéntricas humanas abiertas de NVIDIA. Estos son los resultados que NVIDIA comunica:
- Completó al menos una vez 40 de las 50 tareas evaluadas sin demostraciones específicas para cada tarea.
- Con una demostración por tarea alcanzó un 71% de éxito medio en las 50 tareas, y un 95% con cinco.
- Los agentes de IA pueden llamar a su API y a las herramientas de apoyo para encadenar habilidades y recuperarse de errores.
Según NVIDIA, queda entre los tres primeros en cuatro benchmarks públicos: RoboCasa365, RoboLab, RoboDojo y MolmoSpaces. Entre los primeros usuarios que cita la publicación está Nexuni, que lo prueba en el manejo de ropa, y Foxconn, que lo aplica a la automatización de la fabricación de servidores. Siemens lo está evaluando, y MicroAGI usa una versión entrenada con aprendizaje por refuerzo para cambiar cables Ethernet con un brazo robótico.
Isaac Lab 3.0 y Newton
Isaac Lab 3.0 permite que los agentes ayuden a montar los entornos de entrenamiento e incorpora una biblioteca de post-entrenamiento por refuerzo para modelos fundacionales como GR00T. Su integración más estrecha con el motor de física Newton le permite modelar objetos deformables, como cables y telas, y manos robóticas con muchas articulaciones. En un benchmark de manipulación diestra basada en visión, NVIDIA cifra hasta 2,5 veces el rendimiento de entrenamiento de Isaac Lab 2.3 con PhysX.
Otro resultado, AlphaNIST, entrena una sola política para las 20 tareas del NIST Assembly Task Board. NVIDIA indica más de un 98% de éxito en entrenamiento, frente al 81% de las políticas independientes por tarea, con aproximadamente 39 veces menos tiempo de GPU.
Evaluación y agentes
En la conferencia llega la vista previa para desarrolladores de Isaac Lab-Arena 0.4. Dos nuevos benchmarks abiertos se apoyan en ella: DexBench, de RLWRLD, con 15 tareas en cuatro escenarios de comercio, logística, manufactura y hostelería, y VABAR, de UC Berkeley, con seis tareas industriales. El framework Graph-as-Policy de UC Berkeley usa agentes para enlazar habilidades sueltas en programas de robot que los ingenieros pueden leer y revisar antes del despliegue. Ambi Robotics, Bosch Research y Siemens lo están explorando.
Lo que aún no está demostrado
Todas las cifras son de NVIDIA o de sus socios y proceden de benchmarks y evaluaciones en simulación. La fuente menciona pilotos y pruebas, sin despliegues en producción, y no da precios ni condiciones de licencia más allá de calificar los lanzamientos como abiertos.