IBM breidt zijn Granite 4.0-modelfamilie uit met nieuwe, kleinere taalmodellen onder de naam Granite 4.0 Nano.
IBM kondigt de lancering aan van Granite 4.0 Nano. Deze nieuwe, kleinere taalmodellen behoren tot de recent gelanceerde Granite 4.0-modellen, een reeks open source taalmodellen. De nieuwe modellen zijn gericht op toepassingen aan de edge en op apparaten zelf, met een focus op efficiëntie en lage parameteromvang.
Vier nieuwe Nano-modellen
De Granite 4.0 Nano-reeks omvat vier taalmodellen: twee modellen met hybride architectuur en twee traditionele transformatorversies. De hybride varianten zijn Granite 4.0 H 1B (met ongeveer 1,5 miljard parameters) en Granite 4.0 H 350M (met ongeveer 350 miljoen parameters).
Deze modellen maken gebruik van een hybride-SSM-gebaseerde architectuur. Daarnaast zijn er klassieke transformer-alternatieven beschikbaar met een gelijkaardige parametergrootte, bedoeld voor compatibiliteit met bestaande frameworks waar hybride architecturen nog beperkt ondersteund worden.
lees ook
IBM lanceert Granite 4.0: hybride taalmodellen met ISO-certificatie
De modellen zijn geoptimaliseerd voor gebruik in edge-omgevingen en op toestellen, waar rekenkracht en geheugen vaak beperkt zijn. IBM richt zich hiermee op ontwikkelaars die efficiënte modellen nodig hebben zonder in te boeten aan functionaliteit.
Apache 2.0-licentie en certificering
Net als eerdere Granite 4.0-modellen worden ook deze Nano-varianten vrijgegeven onder een Apache 2.0-licentie. Ze zijn compatibel met populaire AI-runtimes zoals vLLM, llama.cpp en MLX. De modellen zijn getraind met meer dan 15 biljoen tokens en maken gebruik van dezelfde trainingsmethodologieën als de grotere Granite-modellen.
Alle Granite 4.0 Nano-modellen dragen de ISO 42001-certificering voor verantwoord modelbeheer. Daarmee benadrukt IBM het belang van transparantie en verantwoordelijke ontwikkeling binnen zijn AI-aanbod.
In vergelijking met andere kleine taalmodellen van onder meer Google, Alibaba en LiquidAI, tonen Granite 4.0 Nano-modellen volgens IBM sterke prestaties op benchmarks voor algemene kennis, wiskunde, programmeren en veiligheid. Ook op taken die belangrijk zijn voor agentgerichte workflows, zoals instructie-opvolging en toolaanroepen, scoren de modellen beter dan gelijkaardige modellen in hun gewichtsklasse.
Meer informatie en technische details zijn beschikbaar via Hugging Face, waar de modellen vrij te raadplegen zijn. IBM plant in de toekomst verdere uitbreidingen binnen de Granite 4.0-familie.