Asus lanceert de UGen300 USB AI Accelerator. Dat toestel brengt een NPU naar je pc via USB, al is de rekenkracht van het ding niet bepaald spectaculair.
Wie een laptop of desktop heeft zonder NPU, en zich jaloers voelt op mensen die zeggen dat ze een ‘AI-pc’ hebben, lanceert Asus de Ugen300 USB AI Accelerator. Dat is een doosje met daarin een Hailo-10H-accelerator. De Hailo-chip is een NPU met een rekenkracht van 40 TOPS. Hailo is een Israëlisch bedrijf gespecialiseerd in dergelijke chips, waarmee Asus nu in zee gaat.
Eigen RAM
De externe accelerator meet 10,5 cm x 5 cm x 1,8 cm en verbruikt 2,5 watt aan stroom, geleverd via USB-C. Het toestel heeft zelf 8 GB (LPPDR4-)RAM aan boord. Asus schuwt de grote woorden niet, en spreekt van ‘ongeëvenaarde edge Gen AI-prestaties’. Die claim is afkomstig van de marketeers en niet de ingenieurs vermoeden we, want wat AI-prestaties betreft brengt de Asus Ugen300 USB AI Accelerator toch vooral een lichte upgrade met zich mee.
De externe AI-prestaties zijn vergelijkbaar met die van een ingebouwde NPU in recente Windows-laptops. 40 TOPS volstaat om gerichte AI-functionaliteit efficiënt aan te drijven: denk aan achtergrondvervaging in Teams, beeldherkenning, of een specifieke functie in een fotobewerkings-applicatie. 8 GB RAM en 40 TOPS zijn bijlange niet voldoende om AI-modellen te draaien met capaciteiten die doen denken aan wat vandaag via de cloud beschikbaar is.
Nicheproduct
Dat maakt van de Asus Ugen300 USB AI Accelerator toch vooral een nicheproduct. Het belangrijkste voordeel van een ingebouwde NPU is efficiënte ondersteuning van lichte AI-workloads. Doorgaans kunnen CPU en GPU die workloads ook wel bolwerken, zij het minder efficiënt. De extra 40 TOPS kunnen zeker een meerwaarde bieden, maar je hebt er wel een extra stuk hardware voor nodig. We kunnen ons niet zo veel scenario’s bedenken waarin dat de moeite is.
Wil je een laptop op je bureau van extra rekenkracht voor AI voorzien, dan zijn er ook krachtigere opties zoals een externe GPU. Die ondersteunt dan meteen zwaardere workloads. Hoewel Asus geen prijs communiceert, kan je er wel vanuit gaan dat de Asus Ugen300 USB AI Accelerator in vergelijking met een eGPU veel goedkoper is.
M.2-versie
Het product is misschien niet breed relevant, maar wel interessant. Met de Ugen300 USB AI Accelerator zet Asus immers een toegankelijk stuk hardware in de markt waarmee iedere computer een beetje hardwarematige acceleratie van AI-workloads kan krijgen.
Nog relevanter is misschien de M.2-versie van de Hailo-10H. Asus geeft aan de chip van Hailo ook op die manier te zullen aanbieden. In systemen waar een M.2-slot vrij is, kan je zo extra TOPS aan de binnenkant integreren.
De Asus Ugen300 USB AI Accelerator is compatibel met Windows, Linux en Android. De chip ondersteunt frameworks waaronder PyTorch, TensorFlow en ONNX. Asus geeft aan dat er binnenkort een UGen Utility verschijnt, waarmee gebruikers snel toegang krijgen tot vooraf getrainde en compatibele modellen. De accelerator zelf verschijnt dit kwartaal op de markt.