Windows ML biedt ontwikkelaars een nieuw runtimeplatform voor lokale AI-modelverwerking op Windows 11-apparaten.
Microsoft lanceert Windows ML. Dat is een nieuw runtimeplatform gericht op lokale AI-inferentie en een vereenvoudigde uitrol van modellen op Windows 11-apparaten. De technologie vormt een onderdeel van Windows AI Foundry en is ontworpen om code optimaal gebruik te laten maken van de beschikbare clienthardware, zoals CPU’s, GPU’s en NPU’s. Dat is relevant, aangezien de lichte NPU in Windows 11-computers vandaag maar weinig werk om handen heeft.
Eén platform voor alle hardware
Windows ML ondersteunt een breed scala aan Windows-hardware, gaande van instaplaptops en Copilot+-pc’s tot echt krachtige workstation-systemen gebouwd voor AI. Ontwikkelaars kunnen modellen uitvoeren op de hardware die het meest geschikt is voor hun workload. Een NPU is bijvoorbeeld efficiënt voor energiezuinige verwerking van lichte en geoptimaliseerde AI-workloads. GPU’s bieden meer rekenkracht, terwijl CPU’s flexibiliteit en brede compatibiliteit verzekeren.
Het platform is gebaseerd op ONNX Runtime (ORT) en maakt gebruik van bestaande ORT API’s. Dankzij die keuze kunnen ontwikkelaars bestaande modellen en workflows gebruiken, zonder dat ze alles opnieuw moeten opbouwen.
Het systeem optimaliseert workloads op basis van de aanwezige chips via Execution Providers (EPs), ontwikkeld in samenwerking met hardwarepartners als AMD, Intel, NVIDIA en Qualcomm. Hierdoor hoeven zij geen aparte builds te maken voor verschillende hardwareconfiguraties.
API-laag
Windows ML biedt een uniforme API-laag met twee niveaus: een hoger gelegen ML-laag met hulpmiddelen voor runtimebeheer en een lagere laag die directe toegang geeft tot ONNX Runtime API’s. Dit laat zowel eenvoudige integratie als gedetailleerde controle toe.
Het AI Toolkit voor Visual Studio Code helpt ontwikkelaars met modelconversie, optimalisatie, quantisatie en profiling. Windows ML ondersteunt on-device modelcompilatie vooraf (AOT), zodat applicaties sneller starten en efficiënter draaien.
Volgens Microsoft presteren modellen op Windows ML tot 20 procent beter dan op andere modelindelingen. Bovendien voorziet het platform compatibiliteit over verschillende Windows-builds heen.
Belangrijke stap
De introductie van Windows ML is een belangrijke stap richting de uitrol van AI op laptops. Hoewel laptopfabrikanten, Microsoft incluis, al meer dan een jaar van AI-pc’s spreken, zijn er nog niet veel AI-gedreven toepassingen beschikbaar. Deze runtime zal het alleszins eenvoudiger maken om de meegeleverde NPU efficiënt te gebruiken, naast de andere aanwezige componenten.
Windows ML is nu beschikbaar in publieke preview voor alle Windows 11-apparaten wereldwijd. Ontwikkelaars kunnen meteen aan de slag via Microsoft Learn en de AI Dev Gallery.