Docker wil het uitvoeren van lokale AI-modellen vereenvoudigen met Model Runner.
Docker, vooral bekend om zijn tools voor containersoftware, richt zich nu ook op generatieve AI. Met Docker Model Runner, een nieuwe functie in Docker Desktop 4.40, wil het ontwikkelaars helpen bij het bouwen en uitvoeren van AI-modellen, lokaal op hun eigen hardware en binnen bestaande workflows.
Lokaal draaien, meer controle
Omdat de modellen lokaal gedraaid kunnen worden, krijg ontwikkelaars meer controle, betere prestaties, lagere kosten en meer dataprivacy. In plaats van onsamenhangende configuraties, biedt Docker een alles-in-één oplossing binnen de vertrouwde containeromgeving.
Voor Mac-gebruikers is er GPU-versnelling via de ingebouwde grafische chip, waardoor inferentie sneller verloopt dan via bijvoorbeeld virtuele machines. Windows-ondersteuning voor GPU-versnelling staat op de planning.
Modellen worden verpakt als OCI-artefacten om ze te kunnen beheren en distribueren zoals gewone Docker-containers via Docker Hub of een intern register. Dat maakt automatische integratie in bestaande pipelines mogelijk en het gebruik van vertrouwde tools voor automatisering en toegangscontrole.
Partnerschap en ecosysteem
Docker werkt samen met Google, HuggingFace, Spring AI en VMware om toegang te geven tot populaire frameworks en modellen. Hiermee kunnen ontwikkelaars in één omgeving bouwen, testen en direct naar productie gaan. Dat gebeurt allemaal lokaal, zonder afhankelijk te zijn van de cloud.
lees ook