Lançamentos

Nvidia lança quatro modelos abertos Cosmos 3 de 16 bi para simular mundos interativos

Novos pesos da família Cosmos 3 Nano geram vídeo e leituras de LiDAR em tempo real para robótica bimanual e veículos autônomos sob licença comercial OpenMDW1.1.

Capa ilustrativa da editoria Lançamentos

Por que importa. Permite que times de robótica e direção autônoma treinem políticas de controle em ambientes sintéticos interativos sem depender de simuladores gráficos pesados proprietários.

A Nvidia publicou nesta quinta-feira quatro novos modelos abertos da família Cosmos 3 voltados para simulação interativa de mundos e veículos autônomos. As variantes foram construídas sobre a base Cosmos 3 Nano, contam com 16 bilhões de parâmetros treináveis cada e estão disponíveis sob a licença OpenMDW1.1, que autoriza uso comercial e acadêmico. O lançamento inclui pesos prontos para download no Hugging Face, código de inferência e a receita de treinamento em quatro etapas usada pela fabricante.

A coleção divide as tarefas de simulação entre robótica física e direção autônoma. O modelo Cosmos3-Nano-Transfer-Auto gera dados de vídeo sincronizados para até 11 câmeras, incluindo lentes olho de peixe, integrados com leituras de sensores LiDAR a partir de descrições em texto e mapas de cenário. Já o Cosmos3-Nano-Sim-Auto aplica destilação causal sobre essa mesma base para transmitir observações visuais e de profundidade em fluxo contínuo durante simulações em tempo real.

Visão para robôs de dois braços e simuladores físicos

Para o segmento de robótica manipulativa, a Nvidia disponibilizou o Cosmos3-Nano-Sim-Bimanual. O modelo prevê quadros de vídeo subsequentes a partir do estado atual da cena e de ações motoras executadas por robôs bimanual, com suporte validado para os formatos YAM e AgiBot controlados por código ou joysticks manuais. A interface de controle do sistema utiliza um vetor de 59 valores brutos preenchido até 64 posições, padronizando coordenadas de rotação e calibração de garras.

A quarta variante da linha é o Cosmos3-Nano-Sim-Transfer, desenhado para atuar junto a motores físicos tradicionais. Em vez de calcular colisões do zero, ele recebe mapas espaciais gerados pelo simulador, como mapas de profundidade, segmentação e bordas, e renderiza o fluxo RGB final com base em comandos textuais. Dessa forma, a dinâmica rígida permanece com o software de física, enquanto o modelo da Nvidia cuida do fotorrealismo da imagem entregue à visão computacional do agente.

Arquitetura causal e requisitos de hardware

A arquitetura dos modelos adota uma estrutura de Mixture-of-Transformers com atenção temporal causal, permitindo que a geração avance bloco a bloco enquanto retém informações passadas em cache de chaves e valores (KV cache). O pipeline opera sobre representações latentes comprimidas em que cada passo temporal condensa quatro quadros RGB. A Nvidia dividiu o processo de adaptação pós-treino em quatro fases: adaptação bidirecional, teacher forcing, destilação de consistência em quatro passos de remoção de ruído e self-forcing para evitar que desvios em quadros anteriores corrompam a simulação contínua.

Para executar a pilha de inferência distribuída via vLLM-Omni, a Nvidia exige ambiente Linux, Docker e o pacote Nvidia Container Toolkit. A empresa informou que os testes documentados foram conduzidos em estações com uma GPU GB200, mas afirmou que essa configuração não representa o consumo mínimo obrigatório de memória de vídeo, omitindo a quantidade exata de VRAM necessária para rodar as variantes menores em placas de entrada.

Fontes

  • Hugging Face: New NVIDIA Cosmos 3 Open Models for Interactive World Simulation

Reportagem produzida pela redação do Flipters com apoio de inteligência artificial, a partir das fontes acima. Como trabalhamos. Editor responsável: João Paulo Resende.

WhatsAppLinkedInX
Voltar para a edição

Mais em Lançamentos

Ver todas

Quem constrói lê

Receba o Flipters no seu e-mail. A newsletter de IA para quem está tirando produto do papel.