DeepSeek abre código do DeepInfer, motor de inferência usado no V4.1-Flash
Framework lançado sob licença Apache 2.0 revela arquitetura de cache de 72 horas para agentes, mas omite partes da orquestração de cluster.
Por que importa. A abertura expõe técnicas para baratear a execução de modelos MoE e agentes com prefill pesado, mas times de produto ainda precisam resolver orquestração de cache por conta própria.
A DeepSeek liberou em código aberto o DeepInfer, seu framework interno de inferência utilizado em produção para rodar o modelo DeepSeek-V4.1-Flash. O lançamento foi feito sob a licença Apache 2.0 e veio acompanhado do pacote deepseek-recipe, repositório que reproduz o pipeline de processamento de tokens compatível com as APIs oficiais de Chat Completions, Responses e Messages da empresa chinesa. As informações foram divulgadas pela companhia na rede social X e detalhadas pelo site The Decoder e pela newsletter Latent Space.
Na prática, a ferramenta permite que equipes de engenharia executem modelos de pesos abertos em plataformas da Nvidia e em aceleradores Huawei Ascend com rotinas otimizadas de decodificação especulativa, paralelismo distribuído e geração estruturada. A empresa afirmou que os códigos e ajustes para seus próximos modelos também serão lançados diretamente nesse repositório, estabelecendo uma alternativa aberta a serviços de inferência gerenciada como Fireworks, Modal e Baseten.
Separação de prefill e arquitetura de cache
Construído a partir de customizações sobre o projeto vLLM, com menções ao SGLang e ao TensorRT-LLM, o DeepInfer adota uma divisão explícita entre as etapas de codificação visual, prefill (processamento do prompt inicial) e decode (geração autorregressiva de texto). A recomendação oficial de infraestrutura sugere servidores de oito aceleradores para a fase de prefill e supernós de 64 a 128 chips para a etapa de decode, operando com paralelismo amplo de especialistas (expert parallelism) para acomodar a arquitetura Mixture-of-Experts sem gargalos de memória.
O ponto central da eficiência reside no gerenciamento de estado. O relatório da DeepSeek descreve uma retenção de cache KV persistente de até três dias para tráfego gerado por agentes de IA e de sete dias para sessões de chat convencionais, superando os limites recentes de 12 horas anunciados pela OpenAI em sua API. O armazenamento opera em um cluster separado baseado no sistema de arquivos 3FS, somando cerca de 100 PiB em memória flash SSD. Esse desacoplamento permite que qualquer nó de prefill recupere contextos prévios pela rede via transferências RDMA, sem prender a requisição à GPU que processou o prompt original.
Para lidar com janelas de atenção deslizante (sliding-window attention) sem sobrecarregar a memória volátil, o framework adota a técnica SWA Bounded Replay. O mecanismo reconstrói o estado de atenção de curto prazo usando apenas os últimos 128 tokens combinados ao cache persistente, evitando a recomputação do histórico completo. Segundo o relatório técnico, essa aproximação chega a reduzir quase pela metade a carga computacional de prefill em requisições consecutivas. Na geração de texto, o módulo adaptativo DSpark prevê a aceitação de rascunhos para ajustar dinamicamente o número de tokens verificados, gerando um ganho de 6% na vazão frente a métodos estáticos de decodificação especulativa.
Métricas de produção e limites do código público
Os números operacionais divulgados pela DeepSeek apontam para uma escala massiva: 155 trilhões de tokens atendidos por dia em um único cluster, com latência média de 400 milissegundos até o primeiro token e vazão de 230 tokens por segundo por requisição, chegando a 300 tokens por segundo em tarefas de programação. Conforme destaca a análise técnica do Latent Space, esse volume está condicionado a uma taxa de 96% de acertos no cache de entrada. Na prática, a métrica reflete majoritariamente a reutilização de contextos idênticos em pipelines automatizados de agentes, e não 155 trilhões de novos tokens calculados do zero pelos aceleradores.
Apesar de anunciado como código aberto, o pacote DeepInfer não reproduz de imediato todo o ambiente de produção da desenvolvedora. A documentação técnica esclarece que componentes críticos da arquitetura de produção, como o balanceador de carga global e as rotinas de orquestração do cluster de cache KV, não foram liberados por estarem acoplados à infraestrutura interna da empresa. Em resposta à publicação, mantenedores do vLLM divulgaram benchmarks indicando vazão de decodificação a uma diferença de apenas 6% em relação aos dados do DeepInfer em chips Nvidia GB200, ressaltando que boa parte dos ganhos pode ser atingida em outros motores abertos com configurações adequadas.
Fontes
- Latent Space: [AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
- The Decoder: Deepseek open-sources the inference engine that powers its fastest and cheapest AI model
Reportagem produzida pela redação do Flipters com apoio de inteligência artificial, a partir das fontes acima. Como trabalhamos. Editor responsável: João Paulo Resende.
