Amazon lanceert TorchNeuron, waardoor PyTorch-code zonder aanpassingen direct kan draaien op de AWS Trainium-chips. De technologie wordt open source vrijgegeven.
Het optimaliseren van AI-modellen voor specifieke hardware is vaak een tijdrovend proces. Ontwikkelaars moeten hun bestaande code namelijk herschrijven en opnieuw valideren, wat maanden aan werk kan kosten. Amazon probeert dit probleem op te lossen met de introductie van TorchNeuron. Hiermee kunnen gebruikers van de populaire PyTorch-bibliotheek hun werk naadloos verplaatsen naar de gespecialiseerde hardware van AWS.
Geen herschrijven van code nodig
Ongeveer 85 procent van de AI-onderzoekers en ontwikkelaars schrijft momenteel hun code in PyTorch. Tot voor kort was de hardware waarop deze code kon draaien echter veel beperkter dan de software zelf. Met TorchNeuron verandert dat landschap. De code draait nu native op de AWS Trainium-chips via een simpele wijziging in de configuratie, zonder dat de ontwikkelaar de logica van zijn model hoeft aan te passen.
Amazon heeft dit bewezen met demonstraties waarbij hetzelfde trainingsscript op verschillende chips werd gedraaid. De resultaten toonden aan dat de modellen op exact dezelfde snelheid leerden. Voor startups is de tijdsbesparing geen luxe. Wanneer ontwikkelaars geen tijd verliezen aan hardware-aanpassingen, kunnen zij zich volledig focussen op de verbetering van hun eigen producten, stelt Amazon.
Ook voor grote bedrijven biedt dit voordelen. De mogelijkheid om dezelfde hardware te gebruiken voor zowel training als inferentie zorgt ervoor dat rekenkracht efficiënter wordt ingezet.
Open source vanaf 20 oktober
TorchNeuron zal vanaf 20 oktober open source beschikbaar worden onder de Apache 2.0-licentie. De technologie ondersteunt inmiddels ook de nieuwere generaties, zoals Trainium2 en Trainium3. Hiermee wordt de weg vrijgemaakt voor snellere iteraties binnen de gehele AI-industrie.