TorchNeuron simplifica execução de modelos Hugging Face em chips AWS Trainium

Hugging Face e AWS unem forças para facilitar uso de modelos em chips Trainium

Uma nova ferramenta chamada TorchNeuron está prestes a transformar a forma como pesquisadores e desenvolvedores utilizam modelos de inteligência artificial nos chips AWS Trainium. Desenvolvida em parceria entre Hugging Face e equipe da AWS, essa tecnologia atua como um backend nativo para o PyTorch, permitindo que modelos sejam executados com maior simplicidade e eficiência nos chips Trainium, focados no treinamento e inferência de grandes modelos de forma econômica.

A partir de 20 de outubro de 2026, o TorchNeuron será lançado como versão beta pública, podendo ser instalado facilmente via pip install torch-neuronx. Ele oferece suporte imediato a recursos modernos como TorchNeuros, Transformers, Diffusers e Kernels, eliminando a necessidade de bibliotecas intermediárias como optimum-neuron, que exigiam conhecimento técnico avançado.

Mudança técnica significativa na integração com PyTorch

Antes do TorchNeuron, a experiência do Hugging Face nos chips Trainium e Inferentia dependia da biblioteca optimum-neuron, baseada no pacote torch-neuronx e no PyTorch XLA. Essa abordagem exigia lógica de compilador, utilizando tensores preguiçosos, formas estáticas fixas e recompilações frequentes. Com a chegada do TorchNeuron, o neurônio se torna um dispositivo nativo do PyTorch, com suporte a execução antecipada, paralelismo distribuído via DTensor e FSDP2, além do torch.compile.

Essa evolução significa que bibliotecas como Transformers, Diffusers, Accelerate, PEFT e TRL passam a funcionar diretamente nos dispositivos Neuron sem adaptações específicas. Para gerar texto, 89% das arquiteturas mais usadas entre os 100 primeiros modelos são compatíveis automaticamente, contra apenas 46% com a versão 0.4.5 do Optimum Neuron. Basta usar device_map=