Volgens MIT-onderzoekers hebben LLM’s binnenkort geen statische datasets of menselijke tussenkomst meer nodig. Via de SEAL-techniek verbeteren ze zichzelf.
Onderzoekers van het Massachusetts Institute of Technology (MIT) hebben de Self-Adapting LLMs (SEAL)-techniek ontwikkeld. Daarmee kunnen LLM’s zoals ChatGPT zichzelf verbeteren door eigen trainingsdata te genereren.
Zelfverbeterende AI
In tegenstelling tot klassieke modellen die afhankelijk zijn van statische datasets en menselijke training, kan SEAL zichzelf afstemmen met synthetische data die het zelf aanmaakt. Daarbij formuleert het model ‘zelfbewerkingen’: natuurlijke taalbeschrijvingen die aangeven hoe het zijn kennis moet aanpassen.
De methode maakt gebruik van een twee lussen, weet VentureBeat. In de binnenste lus stemt het model zichzelf af op basis van de zelfbewerkingen, terwijl de buitenste lus via reinforcement learning leert welke aanpassingen effectief de prestaties verbeteren. Zo kan het model voortdurend evolueren zonder menselijke tussenkomst.
‘Prestaties boven verwachting’
In een paper deelt MIT zijn testresultaten. SEAL verbetert de nauwkeurigheid bij vraag-en-antwoordsessies van 33,5 procent naar 47 procent. Dat is volgens MIT beter dan synthetische data afkomstig van GPT-4.1. Ook bij few-shot learning-taken, waarbij het model iets leert op basis van enkele voorbeelden, stijgt het succespercentage van 20 procent naar 72,5 procent na reinforcement learning.
Hoewel SEAL nog experimenteel is en enorm veel rekenkracht vraagt, beschouwen onderzoekers het als een doorbraak richting zelfaanpassende AI-systemen. De beschikbaarheid van gegevens op het web daalt, en daarom zijn deze autonome technieken cruciaal voor de verdere evolutie van LLM’s.
lees ook