AMD breidt de Instinct MI350-familie uit met een nieuwe PCIe-kaart voor bedrijven die AI on-premises willen draaien zonder hun datacenter te verbouwen.
AMD introduceert de Instinct MI350P PCIe als nieuwe telg binnen de bestaande MI350-familie. De AMD Instinct MI350P is een dual-slotkaart met PCPIe 5.0-ondersteuning die in standaardservers past.
Nieuwe kaart, bestaande infrastructuur
De AMD Instinct MI350P PCIe is bedoeld als drop-inkaart voor standaard luchtgekoelde servers. Systemen kunnen volgens AMD met tot acht accelerators worden uitgerust. De focus ligt op inferentie voor kleine, middelgrote en grote AI-modellen, naast RAG-pijplijnen binnen het eigen datacenter.
AMD schuift de kaart naar voren voor bedrijven die cloudkosten minder voorspelbaar vinden of data liever niet buitenshuis verwerken. De PCIe-aansluitbaarheid moet de instapdrempel verkleinen. Volgens het bedrijf kunnen organisaties zo AI-workloads lokaal uitrollen binnen de bestaande limieten van stroom, koeling en rackruimte.
AMD ziet de kaart als een manier om bestaande AI-pijplijnen naar nieuwe hardware te verhuizen met beperkte wijzigingen aan code. De Instinct MI350P PCIe moet inzetbaar zijn van bare-metal tot productieomgevingen en laat bedrijven meer modellen draaien en meer gebruikers bedienen binnen hun huidige datacenter.
Specificaties en AI-prestaties
De kaart beschikt over 144 GB HBM3E-geheugen met een bandbreedte tot 4 TB/s. Het valt op dat AMD die 144 GB als een schatting omschrijft in de aankondiging. Dat heeft vermoedelijk te maken met de tekorten in de geheugenmarkt, veroorzaakt door de hoge vraag naar AI-GPU’s zoals deze. AMD claimt voor de Instinct MI350P PCIe een geschatte rekenkracht van 2.299 TFLOPS en tot 4.600 piek-TFLOPS bij rekenwerk met MXFP4. Dat moet voldoende marge bieden voor veeleisende inferentieworkloads.
De GPU ondersteunt onder meer MXFP6, MXFP4, FP8 en MXFP8. Voor INT8 en BF16 rekent AMD op ondersteuning voor sparsity om de efficiëntie op te trekken. Volgens het bedrijf helpt die combinatie om hoge doorvoer te halen en tegelijk het geheugengebruik, stroomverbruik en de koelvraag te beperken.