Qualcomm introduceert de AI200 en AI250. Dat zijn twee accelerators gebouwd voor efficiëntie inferentie in het datacenter. De ARM-specialist wil daarmee een stuk van de koek van Nvidia opeten.
Qualcomm lanceert de AI200 en AI250. De naam kan niet duidelijker zijn: beide chips zijn ontwikkeld voor AI-inferentie in het datacenter. Zowel een laag energieverbruik als een scherpe total cost of ownership (TCO) behoren tot de troeven.
LPDDR-geheugen
Qualcomm volgt dezelfde gedachtengang als Intel en integreert 768 GB LPDDR-geheugen op de AI200. Net als Intel kiest Qualcom voor goedkoper LPDDR-geheugen in de plaats van supersnel HBM-geheugen. Die keuze drukt de kost en laat de chipontwikkelaar toe om veel meer geheugen te integreren zonder dat de prijs helemaal explodeert. Dat is relevant voor inferentie (het gebruik van reeds getrainde AI-modellen), waar geheugencapaciteit prioriteit heeft op snelheid.
De AI250 voegt volgens Qualcomm een aangepaste geheugenarchitectuur toe die gebaseerd is op near-memory computing. Qualcomm claimt hiermee een meer dan tienvoudige verbetering in effectieve geheugenbandbreedte.
Beide oplossingen gebruiken directe vloeistofkoeling en ondersteunen PCIe en Ethernet voor schaalbaarheid. Het maximale stroomverbruik per rack bedraagt 160 kW: ver voorbij wat luchtkoeling kan ondersteunen.
Software en beschikbaarheid
De AI200 en AI250 zijn compatibel met gangbare AI-frameworks en beschikken over een eigen softwarestack. Qualcomm biedt ontwikkelaars tools en bibliotheken aan, waaronder een eigen Efficient Transformers Library en de Qualcomm AI Inference Suite. De oplossingen zijn gericht op snelle integratie van bestaande AI-modellen, onder andere via één-klik-deployments van modellen uit Hugging Face.
De AI200 komt commercieel beschikbaar in 2026. De AI250 volgt in 2027. Qualcomm laat weten dat het bedrijf jaarlijks nieuwe AI-oplossingen voor datacenters zal uitbrengen als onderdeel van een bredere strategie rond AI-inferentieprestaties en energie-efficiëntie.
Niet alleen
De aankondiging valt op omdat ze niet alleen staat. De laatste weken kondigden verschillende partijen AI-accelerators aan met ieders hun eigen troeven. Denk niet alleen aan de Crescent-accelerator van Intel, maar ook de Maverick-2-accelerator van NextSilicon en de samenwerking tussen IBM en Groq.
In welke mate al deze chips zich op een praktische manier kunnen meten met de hardware van Nvidia (en in mindere mate AMD) blijft afwachten. Nvidia heeft immers het software-ecosysteem stevig in handen met Cuda. Daar staat tegenover dat Nvidia-accelerators niet alleen erg duur zijn, maar vooral niet voldoende snel van de band rollen om aan de vraag te voldoen. Alternatieven zoals deze exemplare van Qualcomm, worden dan aanlokkelijk.