Google voegt twee systemen toe aan zijn achtste generatie TPU’s. De TPU 8tx schermt gevoelige data af tijdens de verwerking, de TPU 8i Max is gebouwd voor zeer grote contextvensters.
Met de TPU 8tx en de TPU 8i Max brengt Google dit jaar vier TPU-systemen uit. In april stelde Google op Cloud Next de TPU 8t voor training en de TPU 8i voor inferentie voor. Volgens Google levert de 8t tot 2,7 keer betere trainingsprestaties dan de vorige generatie en de 8i een 80 procent betere prijs-prestatieverhouding voor inferentie.
De twee nieuwe systemen gebruiken bestaande chips. Google bouwt er ander geheugen, netwerk en andere beveiliging rond, wat volgens het bedrijf maanden duurt in plaats van de jaren die een nieuwe chip vraagt. TPU’s hebben vandaag bijna honderd klanten, onder wie AI-labs, tradingbedrijven, retailers en universiteiten.
TPU 8tx: beveiliging in de hardware
De TPU 8tx is bedoeld voor gereguleerde bedrijven en overheden die eigen modellen en AI-agenten laten draaien op gevoelige data. Data staan meestal versleuteld op schijf en tijdens transport, en worden in het geheugen ontsleuteld om verwerkt te worden. De TPU 8tx gebruikt hetzelfde silicium als de TPU 8t, met AMD EPYC-processors van de vijfde generatie als host, en houdt data en modelgewichten ook tijdens het gebruik geïsoleerd.
Het systeem draait op Boardfly, het netwerk met lage latentie dat Google voor de TPU 8i ontwikkelde. Volgens Google halveert de latentie daardoor tegenover de TPU 8t, met nauwelijks prestatieverlies. Op hetzelfde systeem kunnen teams modellen finetunen met eigen data, grote modellen distilleren naar kleinere en agenten trainen met reinforcement learning. Gevoelige data hoeven daarvoor niet naar een andere cluster.
Twee chips in één behuizing
De TPU 8i Max richt zich op het geheugenknelpunt dat ontstaat wanneer tientallen AI-agenten tegelijk een volledige codebase of urenlange video verwerken. Google combineert daarvoor twee TPU 8i-chips in één behuizing. Dat verdubbelt de rekenkracht, het SRAM-geheugen en de HBM-bandbreedte tegenover een TPU 8i. Omdat er twee keer zoveel silicium in hetzelfde rack past, kunnen datacenters meer rekenkracht kwijt per vierkante meter en per watt.
Software voor PyTorch
Google maakte vorige maand TorchTPU open source. Daarmee draaien PyTorch-code en modellen van Hugging Face zonder aanpassingen op TPU’s. Een nieuwe open source TPU-agentsuite, nu in preview, werkt samen met codeertools als Claude Code, Cursor en Google Antigravity om TPU’s in te stellen en knelpunten op te sporen. Cloud Pathways, de runtime van Google DeepMind achter Gemini, is nu algemeen beschikbaar op Google Kubernetes Engine.