Google acelera Qwen 3.5 em 4,7x no TPU v7x Ironwood
O Google diz ter multiplicado por 3,1 a velocidade de decodificação e por 4,7 a de prefill do Qwen 3.5-397B rodando no TPU v7x, chamado Ironwood, em três meses de trabalho entre abril e junho de 2026. O modelo é chinês, de pesos abertos, e ocupa 400 GB de memória HBM.
O ganho de 3,1x e 4,7x, e o que ele não diz
Os ganhos que o Google reporta são relativos: 3,1x em carga dominada por decodificação, a geração token a token, e 4,7x em carga dominada por prefill, a leitura do prompt. Ambos no patamar de 512 requisições simultâneas.
O relatório não publica a base de comparação em número absoluto. Não há tokens por segundo, latência nem custo por milhão de tokens. Sem a linha de partida, o múltiplo não vira conta de infraestrutura.
A apuração encontrou uma fonte só: o relatório técnico publicado pela própria equipe de desempenho do Google no blog de desenvolvedores da empresa. É o fabricante medindo o próprio silício, sem verificação independente até agora.
O gargalo do Qwen 3.5: duas cabeças de chave-valor
O Qwen 3.5 usa 32 cabeças de consulta e apenas 2 cabeças de chave-valor nas camadas de atenção convencional. Dividir 2 cabeças por 8 chips dá 0,25 de cabeça por dispositivo. Isso não existe no hardware.
A saída óbvia, replicar as cabeças em cada núcleo, duplica o cache KV nos 8 chips e come a memória que deveria atender requisição. O servidor travava perto de 200 requisições simultâneas quando a meta era 512.
O time trocou o eixo do corte. A atenção passou a rodar por paralelismo de dados: cada um dos 8 chips guarda uma réplica inteira e processa seu próprio lote, sem trocar mensagem com os outros. A camada de especialistas ficou com paralelismo de especialistas, 512 divididos em 64 por chip, o que evita replicar os 400 GB de pesos em todos os nós.
Qwen 3.5-397B: 397 bilhões de parâmetros, 17 bilhões por token
O roteamento esparso é o desenho central do modelo: 4,3% dos parâmetros entram em cada passada.
A ficha, conforme o relatório:
- 397 bilhões de parâmetros no total, 17 bilhões ativados por token
- 400 GB de peso a carregar em memória de alta banda
- 60 camadas, em um bloco híbrido que se repete 15 vezes na proporção de três para um
- 512 especialistas por camada de rede alimentadora, com os 10 melhores escolhidos por token mais um especialista fixo que sempre executa
- 262.144 tokens de contexto nativo, acima de 1 milhão com escalonamento YaRN
- texto, imagem e vídeo no mesmo treino
Três de cada quatro camadas usam atenção linear com portão, que guarda um estado recorrente de tamanho fixo em vez de montar a matriz quadrática de atenção. A quarta usa atenção convencional para ancorar a recuperação.
A promessa da conta é essa: capacidade de um modelo de 400 bilhões com o custo de execução de um de 20 bilhões, desde que a infraestrutura carregue os 400 GB.
O que o Google construiu é uma biblioteca de kernels
O relatório trata menos do Qwen do que do método. A equipe de desempenho do Google parou de otimizar modelo por modelo e montou uma biblioteca de blocos reutilizáveis em JAX e Pallas (GEMMs agrupados, atenção em lote, despermutação em SparseCore) com modelos de custo amarrados ao hardware. Quando chega arquitetura nova, só a parte inédita exige trabalho. No Qwen 3.5 foram duas: a atenção linear com portão e o paralelismo de dados na atenção.
O resto do ganho veio de cortar conversa entre chips. Três operações coletivas de broadcast viraram duas: como os índices de especialista (inteiros) e os pesos de roteamento (decimais) têm formato idêntico, os engenheiros empacotaram os dois num mesmo vetor de 32 bits. No caminho de volta, eles aposentaram o All-Reduce padrão e puseram no lugar um reduce-scatter hierárquico escrito à mão em Pallas e Mosaic, fatiado em 2 a 4 microlotes para não estourar a memória vetorial. Cada mudança está num pull request público.
O que muda para quem serve modelo aberto no Brasil
O Google otimizou o modelo de um laboratório chinês no seu próprio chip e devolveu o resultado ao vLLM e ao SGLang, os dois motores de código aberto que o relatório aponta como caminho de migração para carga corporativa. Quem serve Qwen em GPU herda parte do trabalho sem tocar em TPU.
O que sobra é decisão de fornecedor, e ela ainda não tem número. O ganho é do fabricante, sem verificação independente, e sem base absoluta não entra em planilha de custo. O que dá para levar hoje é a direção: o preço de servir um modelo de fronteira de pesos abertos está caindo por software, no mesmo silício.
--- Apurado em 1 veículo de 1 país.