Lançamentos

IBM lança Granite Switch 4.1 para rodar voz, chat e decisões em um só endpoint

Modelos de 8 e 30 bilhões de parâmetros integram transcrição ASR, moderação e raciocínio aproveitando a mesma VRAM do modelo base.

Capa ilustrativa da editoria Lançamentos

Por que importa. A abordagem reduz custos de infraestrutura para times de produto, permitindo unificar pipeline de voz, triagem de segurança e resposta conversacional sem alocar múltiplas instâncias de GPU.

A equipe do projeto IBM Granite publicou nesta quinta-feira (15) o Granite Switch 4.1, uma nova família de modelos modulares com versões de 8 bilhões e 30 bilhões de parâmetros. A versão reúne geração de texto, tomada de decisões estruturadas e transcrição de áudio (ASR) em um único endpoint hospedado. Toda a composição foi projetada para ocupar aproximadamente a mesma quantidade de memória de vídeo (VRAM) que o modelo base demandaria sozinho na GPU.

O lançamento ataca um gargalo frequente na montagem de pipelines de inteligência artificial em produção. Em sistemas tradicionais de agentes ou assistentes, as equipes precisam manter serviços separados para converter fala em texto, gerar respostas e acionar classificadores ou filtros de moderação. Ao juntar essas etapas em uma única arquitetura acoplada, o Granite Switch 4.1 promete alternar entre requisições de conversa, decisões lógicas e áudio sem a latência de tráfego entre múltiplos modelos independentes.

Arquitetura com aLoRA e reaproveitamento de cache

Para atingir essa flexibilidade sem inflar o uso de memória, as configurações Granite-Switch-4.1-8B e Granite-Switch-4.1-30B integram três módulos ao modelo base. O primeiro é um adaptador ativado (aLoRA) voltado para tomada de decisões gerais. O segundo é o Guardian aLoRA, especializado em checagens de segurança, que segundo a publicação supera modelos como Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions e Clef-Flash em tarefas de moderação. O terceiro componente é o Granite-Speech-5.0-Turbo-CTC, modelo de transcrição posicionado no topo da tabela do OpenASR.

O diferencial operacional da arquitetura está na gestão do cache de chaves e valores (KV cache). Como os módulos foram construídos como adaptadores ativados com eficiência de memória, o cache gerado pelo modelo base durante uma geração pode ser reaproveitado de forma imediata pelas decisões subsequentes dos adaptadores. O time também aplicou contribuições recentes ao mecanismo vLLM para acelerar a inferência de adaptadores de baixo posto (LoRA) e acoplou o codificador de voz diretamente ao pipeline principal.

Desempenho em testes e suporte a novos adaptadores

Em uma demonstração prática divulgada pela equipe, o Granite-Switch-4.1-30B, composto pelo modelo base congelado e quatro adaptadores aLoRA especializados, concluiu um fluxo de cinco etapas de recuperação aumentada de geração (RAG) mais rápido que o concorrente Jev-27B. Em outro experimento com uma variante menor de 3 bilhões de parâmetros configurada para jogar Doom, o modelo sustentou entre 60 e 100 decisões por segundo, superando a taxa de 10 decisões por segundo reportada pelo Jev, além de narrar o jogo simultaneamente.

A publicação no Hugging Face indica que os modelos chegam prontos para uso com adaptadores padrão, mas permitem que desenvolvedores combinem módulos da biblioteca Granite Libraries ou treinem seus próprios componentes. A IBM adiantou que planeja liberar um SDK para treinamento de adaptadores no ambiente Mellea e tutoriais complementares nas próximas semanas. A empresa não informou, no entanto, datas exatas de lançamento do kit nem tabelas de custo para soluções totalmente gerenciadas em nuvem.

Fontes

  • Hugging Face: Granite Switch 4.1: Chat, Decisions, and Speech from One Endpoint

Reportagem produzida pela redação do Flipters com apoio de inteligência artificial, a partir das fontes acima. Como trabalhamos. Editor responsável: João Paulo Resende.

WhatsAppLinkedInX
Voltar para a edição

Mais em Lançamentos

Ver todas

Quem constrói lê

Receba o Flipters no seu e-mail. A newsletter de IA para quem está tirando produto do papel.