Plataforma ganha checkpoints abertos para robótica e direção autônoma

A NVIDIA anunciou a expansão da família Cosmos 3 com o lançamento de quatro novos checkpoints de pesos abertos, todos baseados na arquitetura Nano com 16 bilhões de parâmetros treináveis. Os modelos chegam sob a licença OpenMDW 1.1, que permite uso comercial e não comercial, e foram projetados para servir como base compartilhada para pesquisadores que desenvolvem simulações de mundo interativas e cenas de direção com múltiplos sensores e visões.

Dois modelos focados em geração de dados de direção sincronizada

O Cosmos3-Nano-Transfer-Auto atua como um modelo bidirecional para geração offline de dados sintéticos de direção. Ele produz vídeo sincronizado em até 11 visões de câmera, incluindo olho de peixe, com geração conjunta de RGB e LiDAR. Controles por câmera via Mapa de Cenário Mundial (WSM) definem a estrutura da cena e o tráfego, enquanto prompts de texto guiam a aparência. Desenvolvedores podem variar condições ambientais para ampliar a cobertura de treino e avaliação, usando imagens RGB iniciais opcionais para ancorar a cena.

Já o Cosmos3-Nano-Sim-Auto é a variante destilada para streaming causal do Transfer-Auto. Ele gera pedaços sucessivos de vídeo de câmera sincronizado e LiDAR em poucos passos de desruído, usando histórico gerado e controles de direção atualizados para suportar rollouts longos e interativos. Para novos conjuntos de sensores ou domínios, o caminho recomendado é adaptar primeiro o Transfer-Auto e depois destilá-lo no Sim-Auto.

Robótica ganha simulação visual a partir de física e ações bimanuais

O Cosmos3-Nano-Sim-Transfer conecta simuladores de física à observação visual. O simulador calcula movimento, contatos e estado físico; o modelo usa controles espaciais e prompt de texto para renderizar observações de cor que uma política pode consumir. Profundidade e segmentação fornecem distância relativa e fronteiras de objetos, mantendo a física e o estado ground-truth no simulador.

Para manipulação com dois braços, o Cosmos3-Nano-Sim-Bimanual simula como o ambiente evolui em resposta às ações do robô. Suporta embodiments YAM e AgiBot, controlados por política ou joystick humano. Uma única sequência de controle pode alternar entre mudanças de ponto de vista e manipulação, usando 59 valores de controle preenchidos para 64 durante o treino. O esquema define sistemas de coordenadas, rotações, calibração de garras, máscaras de validade e domínios de controle.

Arquitetura Mixture-of-Transformers e requisitos de execução

A espinha dorsal Mixture-of-Transformers do Cosmos 3 conecta redes separadas de processamento de texto e geração visual através de atenção. O gerador prevê cada segmento curto a partir do prompt, controles disponíveis e histórico gerado, refinando representações de vídeo comprimidas e ruidosas via remoção de ruído com atenção temporal causal. Para rodar a inferência, é necessário Linux, GPU NVIDIA, Docker e NVIDIA Container Toolkit; a configuração vLLM-Omni publicada foi testada em um GB200.

Todos os checkpoints, relatórios técnicos e demos estão disponíveis no Hugging Face, incluindo skills prontos para inferência de cada modelo. A visão da NVIDIA é fornecer uma fundação aberta para que a comunidade crie mundos simulados mais ricos e responsivos, medindo onde os modelos suportam fielmente o aprendizado e avaliação de políticas, entendendo seus limites e melhorando onde falham.

Com informações de: Hugging Face Blog