Mistral lanceert twee nieuwe LLM’s die op maat gemaakt zijn om lokaal op apparaten te draaien. Ministral 3B telt drie miljard parameters, Ministral 8B acht miljard.
Mistral kondigt in een blog Les Ministraux aan. De nieuwste reeks LLM’s van het Franse AI-bedrijf bestaat uit twee modellen. De benaming Small Language Models is hier misschien beter op zijn plaats, want Mistral heeft zijn modellen bewust kleiner gehouden zodat ze op een laptop of smartphone passen.
Zoals gebruikelijk verwijst de naam van de modellen naar het aantal parameters. Ministral 3B telt drie miljard parameters. Mag het toch een beetje meer zijn, dan heeft Mistral ook het Ministral 8B-model met acht parameters. Volgens Mistral scoren de modellen op elke benchmark beter dan Mistral 7B en staan de modellen ook meer dan hun mannetje tegen Google’s Gemma 2 (2B) en Meta’s Llama 3.1 (8B) en Llama 3.2 (3B).
Op maat van devices
Mistral volgt de trends in de AI-industrie duidelijk goed. De Ministral-modellen zijn niet ontwerpen met een enorm datacenter in gedachten, maar zijn net bewust kleiner gemaakt zodat ze lokaal op een laptop of smartphone kunnen draaien, zonder tussenstap in de cloud. Volgens Mistral is daar onder zijn klanten steeds meer vraag naar omwille van onder privacy-argumenten. Het kan maar helpen om AI-pc’s en -smartphones verkocht te krijgen.
Zowel Ministral 3B als Ministral 8B kunnen tot 128.000 tokens verwerken per prompt. Het contextvensters is daarmee min of meer gelijk aan GPT-4 Turbo van OpenAI.
Mistral liet een jaar geleden van zich horen met de lancering van Mistral 7B, een model dat volledig gratis werd aangeboden. Sindsdien breidde het assortiment snel uit. In september lanceerde het bedrijf zijn eerste model met multimodale capaciteiten, Pixtral 12B. Als Europese speler mag Mistral mee aan tafel zitten met de Amerikaanse AI-leiders zoals OpenAI, Google en Anthropic.