AMD stelt een nieuwe versie van het ROCm-softwareplatform beschikbaar. De nieuwe versie ondersteunt distributed inference, nieuwe precisieformaten en enterprise tools voor beheer.
AMD kondigt de beschikbaarheid van ROCm 7 aan. ROCm is een softwareplatform ter ondersteuning van AMD’s AI-chips en het antwoord op Nvidia Cuda. Met ROCm 7.0 richt AMD zich op de groeiende complexiteit en schaal van AI-workloads.
De update is geoptimaliseerd voor de nieuwe Instinct MI350 GPU’s, gebaseerd op de CDNA 4-architectuur. Deze GPU’s beschikken over hoge geheugenbandbreedte en verbeterde rekenkernen voor intensieve AI-training en inferentie.
AI op schaal
ROCm 7.0 introduceert ondersteuning voor low-precision datatypes zoals FP4, FP6 en FP8, die zorgen voor betere prestaties en lagere geheugenvereisten. Voorbeelden van ondersteunde modellen zijn DeepSeek R1, Llama 3.3 70B en gpt-oss-120b. Deze zijn beschikbaar via AMD Quark.
Voor een snelle opstart biedt AMD vooraf gebouwde Docker-images voor frameworks zoals vLLM en SGLang. Deze containers zijn afgestemd op Instinct MI355, MI350, MI325 en MI300 GPU’s, en maken directe benchmarking van modellen mogelijk.
Verdeel en heers
ROCm 7.0 breidt de mogelijkheden voor distributed inference uit. Dit houdt in dat je modellen verdeelt over meerdere GPU’s, wat schaalbaarheid en responstijd verbetert. Frameworks zoals SGLang ondersteunen deze aanpak en maken gebruik van optimalisatietechnieken zoals Mixture of Experts (MoE) en nieuwe precisieformaten.
Voor bedrijven introduceert AMD twee nieuwe tools: een Resource Manager en de AI Workbench. De Resource Manager vereenvoudigt het beheer van GPU-resources in Kubernetes- en Slurm-omgevingen, terwijl AI Workbench een ontwikkel- en deploymentplatform biedt voor modeltraining en fine-tuning. Beide tools zijn ontworpen met het oog op schaalbaarheid en integratie in bestaande enterprise-architecturen.
Cuda verslaan (en Nvidia)
AMD probeert al lange tijd de AI-dominantie van Nvidia te breken. Evenwaardige chips en accelerators uitbrengen is maar een deel van de puzzel, en dat lijkt AMD stilaan in te zien. De kracht van Nvidia zit in het volledig dichttimmeren van het ecosysteem.
lees ook
AMD wil AI-koning Nvidia van de troon stoten
De Cuda-software speelt daarin een sleutelrol. ROCm 7 moet daar namens AMD een beter antwoord op kunnen bieden. Heeft AMD eindelijk de Nvidia-code gekraakt?