De onverwachte serverpiek: waar komt al dat verkeer vandaan?
De afgelopen maanden zagen we bij Nedbase dat verschillende webshops ineens te maken kregen met flinke pieken in CPU-gebruik. Soms zo heftig dat websites tijdelijk onbereikbaar werden.
In de serverlogs ontdekten we de oorzaak: AI-bots. Naast bekende crawlers zoals Googlebot zagen we steeds vaker GPTBot (OpenAI), ClaudeBot (Anthropic) en vooral Meta-ExternalAgent, die op sommige momenten extreem veel verkeer genereerde.
Een voorbeeld uit de praktijk
Bij onze klant zeelandplant.nl bleek op een zeker moment dat:
- Slechts 33% van het verkeer kwam van echte bezoekers
- 42% was afkomstig van de AI-crawler van Meta
- 19% van OpenAI
Dat betekent dat maar één op de drie bezoekers een mens was. De rest: bots die data verzamelden.
Waarom zijn webshops extra kwetsbaar?
Webshops blijken een aantrekkelijke bron voor AI-modellen. Ze bevatten gestructureerde informatie zoals prijzen, productkenmerken, filters en categorieën. Dat is precies de data waar AI goed op kan trainen. We zagen dat bots productoverzichten keer op keer opvroegen, telkens met andere filtercombinaties. Voor indexatie is dat helemaal niet nodig, maar het zorgt wél voor enorme serverdruk. En bots zomaar blokkeren? Dat is commercieel niet altijd handig. Een webshop kan er juist baat bij hebben om onderdeel te zijn van AI-datasets.
De oplossing: slimmer crawlen in plaats van blokkeren
We besloten het gedrag van de bots beter te analyseren:
- Welke pagina’s vroegen ze op?
- Hoe vaak kwamen ze langs?
- Welke patronen zaten er in het verkeer?
Op basis daarvan hebben we regels opgesteld die bots helpen efficiënter te crawlen.
Ze mogen bijvoorbeeld alleen nog ongefilterde productoverzichten ophalen en paginanummers gebruiken. Precies genoeg om de webshop te indexeren, maar zonder overbodige belasting.
Het resultaat
Na het implementeren van deze regels bij zeelandplant.nl zagen we binnen enkele weken:
- Het aandeel menselijke bezoekers steeg naar 80–90%
- De serverbelasting daalde drastisch
- AI-bots waren sneller klaar met indexeren
- Google en Bing hadden óók voordeel: betere, snellere crawl
We konden zo voorkomen dat klanten moesten upgraden naar duurdere hostingpakketten en verlaagden tegelijkertijd hun CO₂-voetafdruk.
Conclusie
AI-bots zijn niet meer weg te denken, maar ze kunnen ongemerkt enorme druk op webshops leggen. Door hun gedrag slim te analyseren en gerichte crawlregels in te stellen, kun je de serverbelasting sterk verlagen zonder kansen in AI-land te missen. Oftewel: niet de bots uitschakelen, maar ze op de juiste manier laten werken.
