A Hugging Face anunciou em 20 de outubro de 2026 que suas principais bibliotecas de código aberto agora rodam nativamente em TPUs, os chips aceleradores de IA do Google disponíveis no Google Cloud. A mudança se apoia no TorchTPU, um backend nativo do PyTorch que faz da TPU "só mais um dispositivo".
O que mudou
Quem usava PyTorch e queria TPUs tinha de passar pelo PyTorch/XLA (torch_xla) ou aprender JAX. O texto descreve o caminho antigo como viável, porém incômodo: os tensores lazy faziam o código nem sempre executar quando se esperava, pequenas alterações podiam disparar a recompilação do grafo e a depuração era difícil de acompanhar.
Com o TorchTPU, você escreve PyTorch comum. Ele vem com kernels Pallas ajustados para TPUs, suporte a treinamento distribuído e integração com o torch.compile. Numa VM com TPU, a instalação é um único comando pip, usando a versão do torch para CPU, o que evita baixar a build CUDA, bem maior.
O que roda nele
- Transformers: basta passar device_map="tpu" ao carregar o modelo. O padrão é o modo eager, com torch.compile ou configurações distribuídas como opção.
- Diffusers: a TPU agora é um dispositivo de primeira classe. No modo eager, basta pipe.to("tpu"), e o modo compilado acrescenta uma chamada de compilação. Modelos grandes podem ser divididos entre chips com um TensorParallelConfig.
- Kernels: o Kernels Hub tem kernels prontos para TPU escritos em Pallas, e também é possível usar kernels da biblioteca Tokamax.
O Optimum TPU, pacote anterior da Hugging Face para TPUs, deixa de ser necessário para rodar modelos com Transformers e Diffusers.
Os números e seus limites
A Hugging Face informa que, com lote de 64, um kernel ragged-dot do Hub deixou a decodificação 21,5 vezes mais rápida no Qwen3-30B-A3B e 12,8 vezes mais rápida no Gemma 4 26B-A4B, em comparação com a implementação padrão, medido numa TPU v6e-8. Ela diz ainda que o ganho cresce com o tamanho do lote. São benchmarks do próprio publicador.
O suporte ainda está amadurecendo. Dos testes que rodam em TPU, 96,5% passam. A Hugging Face reportou 34 issues ao repositório do TorchTPU, das quais 19 já foram corrigidas. Uma execução noturna de CI em TPU é algo que a equipe diz estar trabalhando para adicionar, e não algo que já exista.
O que o texto não diz
A fonte não traz preços, nem comparação de custo com outros aceleradores, nem orientação sobre quais cargas de trabalho se saem melhor em TPUs do que em GPUs. Essas perguntas exigem testes próprios.