Internetbedrijf Fastly kijkt de groei van verkeer door AI-bots met lede ogen aan. De toename zet de infrastructuur en beveiliging van het internet onder druk.
AI-bots zijn vandaag verantwoordelijk voor een aanzienlijk deel van het internetverkeer. Volgens een rapport van Fastly is het merendeel daarvan afkomstig van crawlers van grote AI-bedrijven zoals Meta, Google en OpenAI. Vooral Meta valt op, goed voor meer dan de helft van alle AI-crawlerverkeer.
Crawlers en fetchers
Fastly analyseerde in het tweede kwartaal ruim 6,5 biljoen webverzoeken via zijn beveiligingsproducten. Daaruit blijkt dat 80 procent van het AI-botverkeer afkomstig is van crawlers, die websites systematisch doorzoeken om informatie voor modellen te ‘verzamelen’. Meer dan de helft komt van Meta, Google en OpenAI zijn elks goed voor een ruime twintig procent.
De geografische spreiding van dit verkeer is niet gelijk verdeeld. In Europa is het aandeel van crawlers veel kleiner dan in Noord-Amerika. Dat verschil kan gevolgen hebben voor de representatie van regio’s in AI-modellen, die georiënteerd op Noord-Amerika zijn.
De overige 20 procent van het AI-botverkeer is afkomstig van zogenaamde fetchers, die op basis van gebruikersvragen content in realtime ophalen. OpenAI voert hier de lijst aan: bots van het bedrijf zijn goed voor 98 procent van het fetcher-verkeer.
lees ook
GPT-5 getest: gestructureerde en ‘zakelijke’ denker
Fetchers zijn daarom niet minder agressief. In sommige gevallen noteerde Fastly tot 39.000 verzoeken per minuut op een enkele website, wat vergelijkbaar is met een DDoS-aanval. Dergelijke pieken kunnen websites met beperkte bescherming flink onder druk zetten, zelfs zonder kwaadwillige bedoelingen.
Internet onder druk
De toename van AI-verkeer zorgt niet alleen voor extra belasting van de infrastructuur, maar bemoeilijkt ook het onderscheiden van legitieme bots en kwaadaardige imitatoren. Vooral sectoren zoals e-commerce, media, entertainment en technologie ondervinden veel scraping-activiteit.
Fastly raadt organisaties aan om AI-verkeer proactief te beheren. Robots.txt-bestanden kunnen richtlijnen meegeven aan bots over welk deel van de site toegankelijk is. Toch negeren sommige bots deze instructies. Daarom adviseert Fastly ook technische maatregelen zoals IP-blokkering, rate limiting en CAPTCHA-systemen. Voor meer controle kunnen bedrijven gebruikmaken van botmanagementoplossingen die AI-verkeer in realtime herkennen en beheersen.
Transparantie van botoperators is eveneens cruciaal. Bots moeten zich duidelijk identificeren en verifieerbare IP-ranges publiceren. OpenAI geeft naar verluidt het goede voorbeeld. Tot slot kunnen organisaties hun content aanbieden via licentieplatformen, wat de mogelijkheid biedt om AI-verkeer om te zetten in een inkomstenbron.
AI-bots zijn niet per definitie schadelijk, maar zonder zichtbaarheid en regels kunnen ze onbedoeld voor overbelasting en kosten zorgen, waarschuwt Fastly. Bedrijven die hun content en infrastructuur willen beschermen, doen er goed aan duidelijke keuzes te maken over wie toegang krijgt, en onder welke voorwaarden.