Geen cyberaanval maar wel een vergroot featurebestand creëerde een softwarefout binnen de systemen van Cloudflare waardoor bepaalde online diensten uren plat lagen.
Op dinsdag 18 november lagen verschillende online diensten zoals OpenAI, X en Ikea er urenlang uit. Na meer dan drie uur werkten de websites weer naar behoren. Een cyberaanval lag alvast niet aan de basis van de technische storingen, maar wel een fout in de interne configuratie van het Bot Management-systeem. De CEO van Cloudflare legt in een blogpost uit wat er precies is gebeurd.
Vergroot featurebestand
“Het probleem werd niet direct of indirect veroorzaakt door een cyberaanval of kwaadaardige activiteiten van welke aard”, benadrukt Matthew Prince, CEO van Cloudflare in een blogpost.
lees ook
Cloudflare ervaart wereldwijde storing: X en OpenAI getroffen
Volgens Cloudflare werd de storing veroorzaakt door een wijziging in de toegangsrechten van een databasesysteem. Die wijziging zorgde ervoor dat het systeem onbedoeld meerdere vermeldingen opnam in een zogenaamd featurebestand. Dat bestand speelt een rol in de werking van Cloudflares Bot Management-systeem. Door de fout verdubbelde de grootte van het bestand.
Softwarefout
Het bestand werd vervolgens automatisch verspreid naar alle machines binnen Cloudflares netwerk. De netwerksoftware, verantwoordelijk voor het routeren van verkeer, is afhankelijk van het bestand maar had een ingestelde limiet voor de maximale bestandsgrootte. Toen het bestand die limiet overschreed, faalde de software op meerdere systemen.
Vermoeden van DDoS
Aanvankelijk dacht het team dat het ging om een grootschalige DDoS-aanval, maar na verder onderzoek werd de echte oorzaak geïdentificeerd. Cloudflare kon het verspreidingsproces stoppen en een eerdere, werkende versie van het bestand uitrollen. Rond 14:30 begon het netwerk zich te herstellen. Tegen 17:06 waren alle systemen opnieuw operationeel.
“Onze excuses voor de impact op onze klanten en op het internet in het algemeen. Gezien het belang van Cloudflare in het internetecosysteem is elke storing van een van onze systemen onacceptabel”, aldus Prince in het blogbericht. Hij geeft bovendien een diepgaand verslag van wat er precies is gebeurd en welke systemen en processen faalden.