De onverwachte serverpiek: waar komt al dat verkeer vandaan?

De afgelopen maanden zagen we bij Nedbase dat verschillende webshops ineens te maken kregen met flinke pieken in CPU-gebruik. Soms zo heftig dat websites tijdelijk onbereikbaar werden.

In de serverlogs ontdekten we de oorzaak: AI-bots. Naast bekende crawlers zoals Googlebot zagen we steeds vaker GPTBot (OpenAI), ClaudeBot (Anthropic) en vooral Meta-ExternalAgent, die op sommige momenten extreem veel verkeer genereerde.

Een voorbeeld uit de praktijk

Bij onze klant zeelandplant.nl bleek op een zeker moment dat:

Slechts 33% van het verkeer kwam van echte bezoekers

42% was afkomstig van de AI-crawler van Meta

19% van OpenAI

Dat betekent dat maar één op de drie bezoekers een mens was. De rest: bots die data verzamelden.

Waarom zijn webshops extra kwetsbaar?

Webshops blijken een aantrekkelijke bron voor AI-modellen. Ze bevatten gestructureerde informatie zoals prijzen, productkenmerken, filters en categorieën. Dat is precies de data waar AI goed op kan trainen. We zagen dat bots productoverzichten keer op keer opvroegen, telkens met andere filtercombinaties. Voor indexatie is dat helemaal niet nodig, maar het zorgt wél voor enorme serverdruk. En bots zomaar blokkeren? Dat is commercieel niet altijd handig. Een webshop kan er juist baat bij hebben om onderdeel te zijn van AI-datasets.

De oplossing: slimmer crawlen in plaats van blokkeren

We besloten het gedrag van de bots beter te analyseren:

Welke pagina’s vroegen ze op?

Hoe vaak kwamen ze langs?

Welke patronen zaten er in het verkeer?

Op basis daarvan hebben we regels opgesteld die bots helpen efficiënter te crawlen.
Ze mogen bijvoorbeeld alleen nog ongefilterde productoverzichten ophalen en paginanummers gebruiken. Precies genoeg om de webshop te indexeren, maar zonder overbodige belasting.

Het resultaat

Na het implementeren van deze regels bij zeelandplant.nl zagen we binnen enkele weken:

Het aandeel menselijke bezoekers steeg naar 80–90%

De serverbelasting daalde drastisch

AI-bots waren sneller klaar met indexeren

Google en Bing hadden óók voordeel: betere, snellere crawl

We konden zo voorkomen dat klanten moesten upgraden naar duurdere hostingpakketten en verlaagden tegelijkertijd hun CO₂-voetafdruk.

Conclusie

AI-bots zijn niet meer weg te denken, maar ze kunnen ongemerkt enorme druk op webshops leggen. Door hun gedrag slim te analyseren en gerichte crawlregels in te stellen, kun je de serverbelasting sterk verlagen zonder kansen in AI-land te missen. Oftewel: niet de bots uitschakelen, maar ze op de juiste manier laten werken.

Leon Nedbase — Leon Boot Devops specialist

Meer weten over AI bots?

Onze devops specialist Leon vertelt je er graag meer over.

Stel een vraag aan Leon