A NVIDIA aproveitou a Conference on Robot Learning, em Austin, no Texas, para anunciar um conjunto de lançamentos abertos em robótica, descritos no blog da NVIDIA. O fio condutor é o treino de robôs em simulação para manipulação delicada, como alinhar engrenagens, conectar cabos e montar peças pequenas, e não apenas para andar ou se deslocar.
GR00T 2
O principal lançamento é o GR00T 2, um world action model aberto construído sobre o NVIDIA Cosmos. Ele foi treinado com dados de robôs e de humanos, incluindo 100.000 horas de vídeos egocêntricos de pessoas que a própria NVIDIA disponibiliza como dados abertos. A NVIDIA informa estes resultados:
- Em 40 das 50 tarefas avaliadas, o modelo concluiu a tarefa ao menos uma vez sem nenhuma demonstração específica.
- Com uma demonstração por tarefa, a taxa média de sucesso nas 50 tarefas foi de 71%, e subiu para 95% com cinco.
- Agentes de IA podem chamar a API e as ferramentas de apoio para encadear habilidades e se recuperar de erros.
Segundo a NVIDIA, o modelo está entre os três primeiros em quatro benchmarks públicos: RoboCasa365, RoboLab, RoboDojo e MolmoSpaces. Entre os primeiros usuários citados no post estão a Nexuni, que testa manuseio de roupas, e a Foxconn, que aplica o modelo na automação da fabricação de servidores. A Siemens o avalia, e a MicroAGI usa uma versão treinada por aprendizado por reforço para trocar cabos Ethernet em um braço robótico.
Isaac Lab 3.0 e Newton
O Isaac Lab 3.0 permite que agentes ajudem a montar os ambientes de treino e traz uma biblioteca de pós-treinamento por reforço para modelos de fundação como o GR00T. A integração mais próxima com o motor de física Newton permite simular itens deformáveis, como cabos e tecidos, e mãos robóticas com muitas articulações. Em um benchmark de manipulação hábil baseado em visão, a NVIDIA relata até 2,5x de throughput de treino em relação ao Isaac Lab 2.3 rodando PhysX.
Um resultado à parte, o AlphaNIST, treina uma única política para as 20 tarefas do NIST Assembly Task Board. A NVIDIA reporta mais de 98% de sucesso no treino, contra 81% de políticas separadas por tarefa, com cerca de 39 vezes menos tempo de GPU.
Avaliação e agentes
A prévia para desenvolvedores do Isaac Lab-Arena 0.4 chega junto com a conferência. Dois novos benchmarks abertos usam a ferramenta: o DexBench, da RLWRLD, com 15 tarefas em quatro cenários que cobrem varejo, logística, manufatura e hotelaria, e o VABAR, da UC Berkeley, com seis tarefas industriais. O framework Graph-as-Policy, da UC Berkeley, usa agentes para ligar habilidades individuais em programas de robô que engenheiros podem ler e conferir antes da implantação. Ambi Robotics, Bosch Research e Siemens o estão explorando.
O que ainda não está comprovado
Todos os números vêm da própria NVIDIA ou de seus parceiros e se baseiam em benchmarks e avaliações em simulação. A fonte cita pilotos e testes, sem implantações em produção, e não informa preços nem condições de licenciamento além de chamar os lançamentos de abertos.