OVHcloud brengt met Olala mini 7A1B het eerste model uit zijn nieuwe Olala-familie van taalmodellen. Het model is open source en draait al bij zoekmachine Qwant.
OVHcloud kondigt Olala aan, een familie van grote taalmodellen die het bedrijf zelf in Europa traint. Olala mini 7A1B is het eerste model. De officiële lancering volgt op 19 november tijdens de OVHcloud AI Summit.
Het model gebruikt zeven miljard parameters, waarvan er één miljard actief is, verdeeld over 256 experts per laag. Voor elke vraag schakelt het maar een deel van het model in. Dat maakt het sneller en minder geheugenhongerig.
Draait op bescheiden hardware
Olala mini werkt op een gpu met 8 GB geheugen en haalt 160 tokens per seconde op een Nvidia RTX A4500. Zonder gpu haalt het model op een gewone processor 50 tokens per seconde. Het contextvenster bedraagt voorlopig 32.000 tokens.
De attention combineert Differential-TPA en Mamba-3, in BF16-formaat. OVHcloud publiceert het model op Hugging Face onder de Apache 2.0-licentie, samen met de gewichten, het voorgetrainde basismodel, een technisch rapport en de documentatie voor de AI Act.
Qwant gebruikt Olala mini al voor zijn flash answer-functie. Volgens OVHcloud antwoordt de zoekmachine daardoor twintig procent sneller en dalen de werkingskosten tot een derde van het vorige model.
Getraind op Europese supercomputers
OVHcloud trainde het model op de publieke supercomputers Jupiter, MeluXina en Jean Zay, met GH200-, A100- en H100-gpu’s. Die steun staat gelijk aan 7 miljoen euro aan rekenuren. Uit het initiatief ontstond ook het Agentic Lab van OVHcloud, OVHai LLM.
Octave Klaba, CEO van OVHcloud, legt de keuze uit: “We kunnen niet blijven rekenen op de gulheid van sommige labs om hun taalmodellen in de komende jaren als open source te delen.” Volgens hem is de kennis om modellen te trainen breed beschikbaar en daalde de trainingskost op drie jaar tijd met een factor twintig.
Versie 1.1 en 2.0
Versie 1.1 moet tegen het einde van het jaar uitkomen, met een contextvenster van 128.000 tokens en betere wiskundige redenering. Versie 2.0 telt meer dan honderd miljard parameters. OVHai LLM wil dan gespecialiseerde modellen bouwen voor AI-agenten in bedrijven, cloud-DevOps en cybersecurity.
Op termijn moet Olala ook OVHai Workspace aansturen. Voor de versleutelde versie daarvan zijn modellen nodig die lokaal op de werkpost draaien. Wat het model kost bij gebruik via het platform van OVHcloud, maakt het bedrijf nog niet bekend.
