Enoki lanceert een platform dat AI-applicaties en AI-agenten moet beveiligen en ongewenst gedrag moet voorkomen. Daartoe kijkt de Gentse start-up niet enkel naar de code, maar onderwerpt het ook het gedrag van LLM’s aan gerichte aanvallen.
De Gentse start-up Enoki lanceert een beveiligingsplatform waarmee het AI-agenten in ondernemingen wil beveiligen. De focus ligt daarbij niet op de implementatie van AI via code, maar op het risico dat die non-deterministische systemen met zich meebrengen, iets wat ook andere bedrijven zoals Veeam aanpakken met hun oplossingen voor detectie en herstel van AI-risico’s. Een AI-agent op basis van een LLM kan immers onverwachts gedrag vertonen, en dat wil Enoki voorkomen.
“Een AI-agent kan met één slim geformuleerde instructie data lekken, tools misbruiken of acties uitvoeren die nergens geprogrammeerd staan.”, verduidelijkt Sander Noels, postdoctorerend onderzoeker in AI en data-analyse aan de UGent en medeoprichter van Enoki. Enoki wordt geleid door Audrey Stampaert, voormalig medeoprichtster van HR-scaleup Mbrella, en ook Joachim Roelants, eerder actief bij Fortino Capital staat mee aan de wieg.
Tests via prompts
Het platform van Enoki focust op het gedrag van een taalmodel binnen een AI-applicatie. De kern van het platform is een autonome AI-hacker-agent die elke AI-applicatie test. Enoki onderwerpt toepassingen aan honderden automatisch gegenereerde aanvallen, met scenario’s zoals promptinjectie en pogingen tot datadiefstal. Daarmee wil het bedrijf kwetsbaarheden blootleggen die niet noodzakelijk in de broncode zitten, maar wel in de manier waarop een model reageert op instructies.
Volgens Enoki is dat vooral relevant voor AI-agenten die gekoppeld zijn aan databanken, code of externe diensten. Zulke systemen kunnen immers meer doen dan alleen antwoorden genereren. Wanneer een agent acties uitvoert namens een gebruiker, kan een fout of aanval ook directe schade veroorzaken.
Drie modules
Het platform bestaat uit drie modules. Pre-deployment testing moet AI-apps testen voor ze live gaan. Runtime protection bewaakt toepassingen in productie en scant input en output op kwetsbaarheden. Daarnaast brengt Compliance & inventory alle AI-oplossingen binnen een organisatie in kaart en koppelt het risico’s aan regels zoals de EU AI Act, NIST AI RMF en ISO 42001.
Enoki richt zich op Europese B2B-SaaS-bedrijven en grote ondernemingen die zelf LLM-gebaseerde AI-agenten bouwen. Het gaat onder andere om klantendienstbots, financiële assistenten, HR-tools en code-assistenten. De startup haalt momenteel zijn eerste designpartners aan boord en bereidt een kapitaalronde voor.
Het bedrijf speelt in op een actuele nood: AI wordt sneller gelanceerd en geïmplementeerd dan dat beveiliging (en het bewustzijn) errond toeneemt. Dat betekent niet dat de start-up het probleem van de beveiliging van AI-agenten als enige heeft vastgesteld. Ook gevestigde beveiligingsspecialisten proberen een rol te spelen. Zo nam Palo Alto Networks gisteren nog Portkey over om zijn portfolio rond AI-beveiliging uit te breiden.