Ferramentas

Nvidia descarrega cache de contexto da GPU para baratear inferência de agentes

Com HBM cara e chips Rubin ganhando só 3% de capacidade, fabricante recorre a formato NVFP4, CPU Vera e storage CMX para tirar histórico inativo da memória gráfica.

Capa ilustrativa da editoria Ferramentas

Por que importa. Sistemas agênticos acumulam milhões de tokens de contexto; mover o KV cache ocioso para camadas mais baratas ataca o principal gargalo de custo da inferência moderna.

A Nvidia apresentou sua arquitetura de projeto conjunto para aliviar o consumo de memória de alta largura de banda (HBM) em servidores de inteligência artificial. Em vez de apenas aumentar a quantidade física de HBM soldada às placas, a fabricante estabeleceu uma hierarquia que transfere pesos e dados de contexto para a memória de processadores centrais e unidades de armazenamento compartilhado. Segundo a empresa, a plataforma Vera Rubin adicionou apenas 3% de capacidade de HBM por GPU na comparação com a Blackwell Ultra, mas elevou a taxa de transferência por dólar em até 30 vezes no benchmark SemiAnalysis AgentX.

A pressão sobre os chips decorre da proliferação de aplicações agênticas, nas quais modelos encadeiam consultas contínuas a ferramentas externas e sustentam janelas de até 3 milhões de tokens. Durante a inferência, a HBM precisa acomodar tanto os parâmetros do modelo quanto o KV cache, estrutura que preserva o histórico de requisições anteriores para evitar recomputação. Conforme o volume de usuários simultâneos cresce, a largura de banda de memória atinge um limite físico conhecido como barreira de memória, fazendo com que chips mais caros gerem gargalos de atendimento antes mesmo de esgotar o cálculo.

Compressão e trânsito de contexto

A primeira linha de defesa da arquitetura é a redução no tamanho dos dados por meio da precisão numérica NVFP4 de 4 bits, aplicada tanto aos pesos dos modelos quanto ao próprio KV cache. O formato corta a pegada de armazenamento pela metade frente ao padrão FP8 e já equipa checkpoints de modelos como FLUX.2 klein, Inkling, Meta Muse Spark, Step 5 Preview e Nemotron 3.5 Super VL. Em racks com arquitetura NVL72, a distribuição dos parâmetros entre até 72 GPUs permite que cada acelerador reserve uma porção maior de memória interna para sessões ativas.

Quando um agente aguarda a resposta de uma ferramenta, o software de inferência Nvidia Dynamo transfere o contexto ocioso para a CPU Nvidia Vera. O processador utiliza memória LPDDR interligada às GPUs Rubin pelo barramento NVLink-C2C, servindo de memória de transição rápida. Se a inatividade for prolongada, o Dynamo envia os dados para o Nvidia CMX, uma camada de armazenamento de contexto compartilhada entre diferentes servidores do data center que não embute o custo operacional de proteções de dados de longo prazo.

A gestão do CMX reúne fornecedores de infraestrutura corporativa como Dell Technologies, Hewlett Packard Enterprise (HPE), IBM, NetApp, VAST, WEKA, DDN, Cloudian e Everpure, marca que substituiu a Pure Storage. A integração do sistema é coordenada pela ferramenta KV Cache Reuse do Dynamo, que transforma a memória da GPU, da CPU e do armazenamento em um pool unificado para reaproveitar sequências de tokens já computadas em qualquer nó do cluster.

Ganhos por dólar e lacunas abertas

Nos cálculos apresentados pela Nvidia com a carga DeepSeek V4 Pro do AgentX, o sistema GB300 NVL72 ofereceu rendimento por dólar até dez vezes superior ao da plataforma H200 a uma velocidade de 100 tokens por segundo por usuário. Já o conjunto Vera Rubin NVL72 alcançou 30 vezes mais vazão por dólar em relação ao GB300 mantendo 125 tokens por segundo, descolando o ganho de eficiência do aumento físico de silício de memória. Em sistemas de busca por RAG, a estratégia também desloca índices vetoriais para a CPU com a biblioteca cuVS e o Nemotron Retriever, mantendo a base de conhecimento fora da HBM.

Apesar dos números de rendimento divulgados, a publicação da Nvidia não detalha a latência adicional inserida nas requisições durante as viagens de ida e volta do contexto entre os servidores de armazenamento CMX e as GPUs. A empresa também não informou o impacto desse modelo no preço final cobrado por provedores de nuvem para desenvolvedores que contratam inferência gerenciada por token.

Fontes

  • NVIDIA: More Performance From Every Byte: How Full-Stack Codesign Solves AI’s Memory Challenge

Reportagem produzida pela redação do Flipters com apoio de inteligência artificial, a partir das fontes acima. Como trabalhamos. Editor responsável: João Paulo Resende.

WhatsAppLinkedInX
Voltar para a edição

Mais em Ferramentas

Ver todas

Quem constrói lê

Receba o Flipters no seu e-mail. A newsletter de IA para quem está tirando produto do papel.