AWS lança TorchNeuron para rodar código PyTorch no chip Trainium com uma linha
Ferramenta elimina reescrita de código para migrar modelos da Nvidia para silício próprio e Amazon promete alterações no repositório oficial do PyTorch.
Por que importa. Desenvolvedores podem testar o Trainium sem reescrever a base em PyTorch, reduzindo a dependência de CUDA e abrindo alternativas de custo em inferência e treino.
A Amazon Web Services lançou nesta segunda-feira a ferramenta TorchNeuron, criada para executar aplicações em PyTorch no chip proprietário Trainium alterando apenas uma linha de configuração. De acordo com a empresa, a solução dispensa a reescrita de código e ataca diretamente o domínio de software da Nvidia, cuja infraestrutura CUDA é o padrão de mercado para rodar modelos no framework mantido pela Linux Foundation.
A AWS calcula que cerca de 85% das aplicações de inteligência artificial são escritas em PyTorch. Historicamente, a Nvidia investiu anos para integrar o CUDA ao framework, o que transformou suas GPUs na opção padrão para a maioria das equipes de engenharia. O TorchNeuron foi adaptado a partir da própria biblioteca do PyTorch para permitir que quem já domina a sintaxe utilize o acelerador da Amazon sem atrito adicional de aprendizado.
A possibilidade de alternar o hardware com ajustes simples de configuração não é inédita no ecossistema, já que alternativas como GPUs da AMD e processadores da Apple contam com integrações parecidas no PyTorch. O diferencial alegado pela AWS está no ecossistema em nuvem completo, que busca reter startups em sua própria estrutura em vez de deixá-las migrar para neoclouds focadas em silício da Nvidia, como Coreweave, Nebius e Firmus.
Treino, inferência e ganhos de custo
Em declaração enviada por e-mail ao TechCrunch, o vice-presidente de software de tecnologia da AWS Annapurna Labs, Colin Brace, afirmou que o objetivo é oferecer infraestrutura completa desde o protótipo até a escala de produção em uma única plataforma. A unidade Annapurna Labs é a divisão responsável pelo desenvolvimento dos chips customizados da Amazon.
Segundo a AWS, o Trainium é projetado para lidar tanto com o treinamento quanto com a inferência na mesma arquitetura de hardware, o que compensaria eventuais diferenças de preço por token no cálculo final das operações. Como exemplo prático, a empresa citou o caso da Deepgram, desenvolvedora de aplicações de voz e concorrente da ElevenLabs, que migrou cargas de trabalho para o Trainium e passou a processar 70% mais áudio por dólar com precisão de nível de produção.
Desacoplamento do código central da Nvidia
A ofensiva da Amazon também inclui contribuições diretas para o repositório principal do PyTorch. Em publicação oficial, a companhia informou que está trabalhando com a comunidade do projeto aberto para enviar alterações upstream que removam trechos de código atrelados a chips específicos, com o intuito de tornar o framework totalmente agnóstico quanto ao hardware utilizado.
A proposta visa diminuir o bloqueio de fornecedor imposto pelas bibliotecas proprietárias da Nvidia, mas ainda gera dúvidas práticas sobre manutenção e estabilidade para os desenvolvedores. A reportagem do TechCrunch apontou que resta observar se a flexibilidade técnica prometida trará opções mais baratas no dia a dia ou se vai adicionar complexidade de configuração em cargas de trabalho que hoje rodam em CUDA sem intervenção manual.
Fontes
- TechCrunch: Amazon is taking its biggest shot at Nvidia yet with new TorchNeuron dev tool
Reportagem produzida pela redação do Flipters com apoio de inteligência artificial, a partir das fontes acima. Como trabalhamos. Editor responsável: João Paulo Resende.
