Amerikaanse onderzoekers onderzochten de bronvermeldingen bij acht AI-zoekmachines.
Een onderzoek van het Tow Center for Digital Journalism in Columbia brengt ernstige nauwkeurigheidsproblemen bij generatieve AI-modellen naar buiten die worden gebruikt voor nieuwszoekopdrachten. De onderzoekers testten acht AI-zoektools en ontdekten dat meer dan 60 procent van de zoekresultaten incorrect was.
Wat loopt er fout?
Onderzoekers merken op dat ongeveer een kwart van de Amerikanen AI-modellen gebruikt als alternatief voor traditionele zoekmachines. Dit brengt serieuze zorgen met zich mee over de betrouwbaarheid, want het onderzoek toonde een hoog foutenpercentage aan.
De foutmarges verschilden sterk per platform. Perplexity gaf in 37 procent van de gevallen verkeerde informatie, terwijl ChatGPT Search in 67 procent van de gevallen fout zat. Grok 3 scoorde het slechtst, met een foutpercentage van maar liefst 94 procent. Deze AI-modellen gaven vaak antwoorden die aannemelijk leken, maar onjuist waren.
De testen gebeurden door fragmenten uit echte nieuwsartikelen aan de AI-modellen te geven en vervolgens te vragen naar de kop, de originele uitgever, de publicatiedatum en de URL van het artikel. In totaal werden 1.600 zoekopdrachten uitgevoerd. Opvallend was dat premiumversies van sommige AI-tools slechter presteerden dan hun gratis tegenhangers. Perplexity Pro en Grok 3 Premium gaven vaker incorrecte antwoorden. Ze weigerden ook zelden weigerden een antwoord te geven wanneer ze geen betrouwbare informatie hadden.
lees ook
‘AI-zoekmachines baseren zich in 60 procent van de gevallen op onjuiste bronnen’
Het onderzoek toonde ook aan dat sommige AI-zoektools de instructies van uitgevers negeerden. Perplexity’s gratis versie wist bijvoorbeeld alle tien geteste fragmenten uit betaalde National Geographic-content correct aan te halen. Dat zou niet mogen gebeuren, want National Geographic blokkeert AI-webcrawlers. Daarnaast verwijzen AI-modellen vaak naar gesyndiceerde versies van artikelen op platforms zoals Yahoo News in plaats van de originele publicaties. Dit betekent dat uitgevers minder verkeer krijgen, ondanks dat hun teksten de basis vormen voor AI-zoekresultaten.
Een ander veelvoorkomend probleem is het verzinnen van URL’s. Meer dan de helft van de verwijzingen door Google’s Gemini en Grok 3 leidde de onderzoekers naar niet-bestaande of kapotte links.
AI ook populair in Europa
Deze problematiek speelt niet enkel in de VS. Uit de recentste Digimeter van imec blijkt dat ook in Vlaanderen de adoptie van AI-tools voor informatieopzoeking toeneemt. Volgens het rapport gebruikt 28 procent van de Vlamingen regelmatig generatieve AI, en 21 procent heeft expliciet ChatGPT gebruikt. Hoewel er niet gefocust wordt op AI-zoekmachines, worden er waarschijnlijk ook soms incorrecte Belgische of Nederlandstalige bronnen gebruikt bij (zoek)resultaten.
Uit een rondvraag van ITdaily blijkt dat 56 procent van de respondenten, bestaande uit IT-professionals, AI gebruikt en daar eerlijk over is. 16 procent gebruikt geen AI en 30 procent ervaart ‘AI-schaamte’. Dat heeft vooral te maken met de ecologische impact.
Hoewel OpenAI en Microsoft hebben gereageerd op het rapport, gaven ze geen directe antwoorden op de kritiekpunten. OpenAI benadrukte dat het uitgevers ondersteunt met duidelijke verwijzingen en samenvattingen, terwijl Microsoft zich gaat houden aan bestaande protocollen en richtlijnen. Voorlopig blijft de betrouwbaarheid van AI-zoekmachines een groot vraagteken. Het is ook onduidelijk of er maatregelen genomen worden om de foute bronvermeldingen te vermijden.
lees ook