IBM en Groq integreren hun technologieën om bedrijven sneller en efficiënter AI-oplossingen te bieden. De inferentiecapaciteiten van Groq worden door IBM geïntegreerd.
IBM en Groq kondigen een strategisch partnerschap aan waarbij GroqCloud, het AI-inferentieplatform van Groq, wordt geïntegreerd in IBM’s watsonx Orchestrate.
Binnen het partnerschap plannen IBM en Groq ook om Red Hat’s open source vLLM-technologie te combineren met Groq’s LPU-architectuur. Daarnaast zullen IBM’s Granite-modellen beschikbaar worden op GroqCloud voor IBM-klanten.
Groq, niet Grok
Groq is een zelfverklaarde inferentiespecialist die vertrouwt op eigen chips: de zogenaamde LPU’s. Groq debuteerde zijn Language Processing Units al in 2016 als een alternatieve accelerator op maat van inferentie. De chips moeten efficiëntie en prestaties leveren aan een lagere kostprijs dan GPU’s van concurrenten Nvidia en AMD. De capaciteiten van het bedrijf zijn beschikbaar via de GroqCloud, dat snellere en efficiëntere inferentie dan traditionele GPU-gebaseerde systemen belooft.
Verwar Groq niet met het recenter uit de grond gestampte Grok van Elon Musk. Grok is een LLM en een alternatief voor bijvoorbeeld ChatGPT dat populair is bij gebruikers die het prima vinden dat een AI zonder problemen pikante beelden van bekendheden zoals Taylor Swift genereert, zonder toestemming.
Prestaties en integraties
De samenwerking is gericht op drie hoofdpunten: hoge prestaties bij inferentie, ondersteuning van beveiligde en privacygerichte AI-toepassingen, en een naadloze integratie met IBM’s agentic AI-platform watsonx Orchestrate.
Tot slot zal de integratie van vLLM en Groq’s hardwareontwikkelingen ontwikkelaars helpen bij inferentie-orkestratie, load balancing en hardwareversnelling. Klanten blijven in hun vertrouwde tools werken, maar profiteren van snellere verwerking via GroqCloud.
IBM kan zich met deze samenwerking onderscheiden van andere aanbieders van AI-technologie. Groq krijgt van zijn kant toegang tot het IBM-ecosysteem en kan zo een nieuwe markt aanspreken. Door de minder gekende LPU-technologie te koppelen aan de naam van IBM, kan Groq aantonen dat zijn aanpak meerwaarde biedt en volwassen is. De nieuwe capaciteiten zullen per direct beschikbaar zijn.