Microsoft gaat het Azure Maia-systeem uitbreiden naar grootschalige implementaties van meerdere gigawatt vanaf 2027. De nieuwe Maia 300-chip moet de primaire infrastructuur vormen voor AI-inferentie.
Microsoft breidt zijn huisgemaakte Maia-chipinfrastructuur verder uit. De huidige generatie Maia 200 is inmiddels al in productie en ondersteunt belangrijke workloads zoals Microsoft Copilot. Deze chip draait momenteel OpenAI-modellen en diverse open-source modelfamilies in de Verenigde Staten, Europa en Australië. Vanaf 2027 neemt Maia 300 het stokje over.
De komst van Maia 300
Maia 300 gaat vanaf 2027 in productie. Dit systeem is specifiek ontworpen voor complexe AI-taken, zoals langdurig redeneren en interacties die zeer gevoelig zijn voor vertraging. Het doel is om meer intelligentie te leveren binnen een vastgesteld energiebudget.
Vergeleken met de huidige generatie belooft de Maia 300 een enorme sprong in efficiëntie. In een volledige configuratie met 96 versnellers levert het systeem tot zeven keer zoveel doorvoer van tokens op rack-schaal als de Maia 200. Daarnaast wordt er 40 procent meer tokens per megawatt verwacht in vergelijking met externe GPU-systemen.
De architectuur van de Maia 300 maakt gebruik van een multi-chiplet design op het N2P-proces van TSMC. Hierdoor kunnen rekenkracht, geheugenbeheer en invoer/uitvoer functies apart worden geoptimaliseerd. Dit verhoogt de rekenkracht met 36 procent en biedt een hogere geheugenbandbreedte.
Efficiëntie door slimme dataflow
Een cruciaal onderdeel van de nieuwe architectuur is de software-gedefinieerde dataflow. In plaats van alleen te focussen op ruwe rekenkracht, optimaliseert het systeem hoe data door de chip beweegt. Dit vermindert de energie die nodig is voor datatransport, wat vaak het grootse obstakel is bij grote AI-systemen.
Het systeem maakt ook gebruik van een geavanceerde geheugenhiërarchie. Met acht HBM4-stacks bereikt de Maia 300 een piekbandbreedte van 18,0 TB/s. Dit helpt bij het efficiënt uitvoeren van grote modellen met een lange context, zonder dat de energieconsumptie onhoudbaar wordt.
Eigen chips
Op netwerkniveau verbindt Microsoft de versnellers via een naadloos systeem dat zich uitstrekt van een enkel rack tot een volledige ‘superpod’ van meer dan 12.000 versnellers. Dit zorgt ervoor dat AI-agenten die complexe taken uitvoeren naltijd over voldoende rekenkracht en geheugen kunnen beschikken.
Microsoft steunt sinds 2023 op de Maia-architectuur. Met investeren in eigen silicum wil Microsoft de kost van inferentie in zijn eigen datacenters verlagen en de afhankelijkheid van externe chipleveranciers afbouwen, om zo de prijs van AI-diensten voor klanten enigzins te drukken.