Nvidia lança quatro modelos abertos Cosmos 3 de 16 bi para simular mundos interativos
Novos pesos da família Cosmos 3 Nano geram vídeo e leituras de LiDAR em tempo real para robótica bimanual e veículos autônomos sob licença comercial OpenMDW1.1.
Por que importa. Permite que times de robótica e direção autônoma treinem políticas de controle em ambientes sintéticos interativos sem depender de simuladores gráficos pesados proprietários.
A Nvidia publicou nesta quinta-feira quatro novos modelos abertos da família Cosmos 3 voltados para simulação interativa de mundos e veículos autônomos. As variantes foram construídas sobre a base Cosmos 3 Nano, contam com 16 bilhões de parâmetros treináveis cada e estão disponíveis sob a licença OpenMDW1.1, que autoriza uso comercial e acadêmico. O lançamento inclui pesos prontos para download no Hugging Face, código de inferência e a receita de treinamento em quatro etapas usada pela fabricante.
A coleção divide as tarefas de simulação entre robótica física e direção autônoma. O modelo Cosmos3-Nano-Transfer-Auto gera dados de vídeo sincronizados para até 11 câmeras, incluindo lentes olho de peixe, integrados com leituras de sensores LiDAR a partir de descrições em texto e mapas de cenário. Já o Cosmos3-Nano-Sim-Auto aplica destilação causal sobre essa mesma base para transmitir observações visuais e de profundidade em fluxo contínuo durante simulações em tempo real.
Visão para robôs de dois braços e simuladores físicos
Para o segmento de robótica manipulativa, a Nvidia disponibilizou o Cosmos3-Nano-Sim-Bimanual. O modelo prevê quadros de vídeo subsequentes a partir do estado atual da cena e de ações motoras executadas por robôs bimanual, com suporte validado para os formatos YAM e AgiBot controlados por código ou joysticks manuais. A interface de controle do sistema utiliza um vetor de 59 valores brutos preenchido até 64 posições, padronizando coordenadas de rotação e calibração de garras.
A quarta variante da linha é o Cosmos3-Nano-Sim-Transfer, desenhado para atuar junto a motores físicos tradicionais. Em vez de calcular colisões do zero, ele recebe mapas espaciais gerados pelo simulador, como mapas de profundidade, segmentação e bordas, e renderiza o fluxo RGB final com base em comandos textuais. Dessa forma, a dinâmica rígida permanece com o software de física, enquanto o modelo da Nvidia cuida do fotorrealismo da imagem entregue à visão computacional do agente.
Arquitetura causal e requisitos de hardware
A arquitetura dos modelos adota uma estrutura de Mixture-of-Transformers com atenção temporal causal, permitindo que a geração avance bloco a bloco enquanto retém informações passadas em cache de chaves e valores (KV cache). O pipeline opera sobre representações latentes comprimidas em que cada passo temporal condensa quatro quadros RGB. A Nvidia dividiu o processo de adaptação pós-treino em quatro fases: adaptação bidirecional, teacher forcing, destilação de consistência em quatro passos de remoção de ruído e self-forcing para evitar que desvios em quadros anteriores corrompam a simulação contínua.
Para executar a pilha de inferência distribuída via vLLM-Omni, a Nvidia exige ambiente Linux, Docker e o pacote Nvidia Container Toolkit. A empresa informou que os testes documentados foram conduzidos em estações com uma GPU GB200, mas afirmou que essa configuração não representa o consumo mínimo obrigatório de memória de vídeo, omitindo a quantidade exata de VRAM necessária para rodar as variantes menores em placas de entrada.
Fontes
- Hugging Face: New NVIDIA Cosmos 3 Open Models for Interactive World Simulation
Reportagem produzida pela redação do Flipters com apoio de inteligência artificial, a partir das fontes acima. Como trabalhamos. Editor responsável: João Paulo Resende.
