Google liberou como código aberto o TorchTPU, um backend nativo do PyTorch para TPUs na nuvem, desenvolvido em parceria com a equipe de PyTorch no Meta e anunciado na PyTorch Conference 2026, realizada em 20 de outubro de 2026. O projeto visa permitir que aplicações baseadas em PyTorch funcionem diretamente em chips TPUs da Google Cloud sem necessidade de reescrita, posicionando as TPUs como dispositivo nativo ao lado de GPUs e CPUs.
Funcionamento e substituição do PyTorch/XLA
TorchTPU se integra ao PyTorch por meio da interface PrivateUse1, permitindo que tensores sejam manipulados como tensores comuns, sem wrappers ou subclasses. Ele opera com um processo por dispositivo e preserva visualizações de tensores e mutações in-place, características ausentes no PyTorch/XLA. A abordagem anterior exigia modificações intrusivas no código e suportava apenas execução SPMD, enquanto TorchTPU também lida com execução MPMD divergente.
Desempenho e escalabilidade
Segundo relatos do Google, o TorchTPU atinge 52% de MFU no treinamento do modelo Qwen 3 8B usando TorchTitan em chips Ironwood (TPU7x), com escalonamento quase linear até 8.192 chips. O projeto inclui três modos de execução: Strict (padrão), Debug e DeferAndFuse, além de suporte a torch.compile para produção. Em testes, o tempo por passo em uma tarefa de fine-tuning caiu de 11,49s para 2,78s com otimizações completas.
Integrações e ecossistema
TorchTPU é compatível com ferramentas como Hugging Face Transformers v5, Diffusers, vLLM-TorchTPU e SGLang-TorchTPU. A versão 0,2.0 está disponível no PyPI sob licença Apache 2.0, com suporte a Python 3,11+ e checkpoints em formatos FP8, MXFP4 e NVFP4. O Google destacou que o backend foi testado com aproximadamente 5.000 modelos do Hugging Face.
Estratégia de mercado
O lançamento reforça o esforço de Google e Amazon para reduzir a dependência de GPUs da Nvidia, oferecendo alternativas acessíveis para migração de cargas de trabalho. Enquanto o TorchTPU é suportado por parcerias diretas com Meta, Hugging Face, vLLM e SGLang, a Amazon lançou paralelamente o TorchNeuron para seus chips Trainium. Ambos buscam facilitar a adoção de hardware alternativo sem exigir reescrita de código.
O que ainda não foi divulgado
Não foram informados detalhes sobre adoção comercial em larga escala, comparações diretas de desempenho com GPUs da Nvidia ou roadmap de suporte a novas gerações de chips além do Ironwood.
