Webscraping is het geautomatiseerd kopiëren van de inhoud of data van een site. OWASP definieert het als het verzamelen van toegankelijke data voor later gebruik, "zoals het uitbuiten van bedrijfseigen data of prijsafspraken", en somt de namen op waaronder het bekendstaat: content scraping, data-aggregatie, harvesting, screen scraping, en nu LLM- en AI-scrapers. Sommige scraping is welkom, want een zoekmachine is een scraper die je lezers stuurt. De vraag is nooit "is het een bot", maar "wil je hem".
Wat scraping je kost
- Je data, tegen je gebruikt. Een concurrent leest je prijzen om je te onderbieden, een kopieersite publiceert je artikelen opnieuw, een aggregator verkoopt je aanbiedingen door.
- De rekening voor het serveren. De Wikimedia Foundation meldde in april 2025 dat bots ongeveer 35% van haar paginaweergaven veroorzaakten, maar minstens 65% van haar duurste verkeer: de requests die langs haar caches gaan en haar centrale datacenter bereiken.
- Accounts die ervoor worden gemaakt. OWASP merkt op dat sommige scraping via nep- of gestolen accounts loopt, om te bereiken wat alleen leden zien. Zo wordt je registratie deel van het probleem: zie nepregistraties stoppen.
robots.txt is een verzoek, geen slot
Zet in robots.txt wat crawlers mogen lezen; de grote, eerlijke houden zich eraan. Maar de standaard die het definieert, RFC 9309, zegt het duidelijk: "deze regels zijn geen vorm van toegangsautorisatie". Een scraper die je prijzen wil, leest het niet, dus het is waar je begint, niet waar je stopt.
Laat de crawlers die je wilt door, met bewijs
Iedereen kan Googlebot in een User-Agent zetten. Google raadt site-eigenaren aan die bewering te controleren: een reverse en forward DNS-lookup op het adres, of een vergelijking met de adresreeksen die Google publiceert. Bot Protection doet die controle voor je: als een crawler die zichzelf noemt van de gepubliceerde adressen van zijn leverancier komt, noemt het antwoord hem in crawler, met zijn soort. Zoekmachines, AI-assistenten en linkvoorbeelden komen erdoor tenzij je ze blokkeert; crawlers voor AI-training worden geblokkeerd tenzij je ze doorlaat, en je kunt per crawler apart kiezen. Elke crawler die het verifieert, staat in de botgids. Een crawler die de naam alleen leent, wordt beoordeeld zoals elke andere bezoeker.
Vraag het waar de data is
Scrapers gaan naar waar de waarde zit, dus zet de controle daar, niet op elke pagina: de product- en prijspagina's, zoekresultaten, aanbiedingen, de artikelen die je verkoopt, en de JSON die je eigen pagina's ophalen. Je server vraagt het Bot Protection voordat hij antwoordt, en handelt naar de klasse:
bot_high: weiger, of serveer minder, zoals de teaser van een artikel of een pagina zonder prijzen.bot: vertraag hem, serveer uit de cache, of stuur hem via de uitdagingspagina.unknown,human,human_high, en de crawlers die je wilt: de volledige pagina.
De homepage en de pagina's die alleen mensen binnenhalen, kunnen voor iedereen open blijven. Alleen vragen waar de data is, houdt de controle weg van paden die hem niet nodig hebben, en van je rekening. Uitgevers hebben hun eigen geval in botbescherming voor nieuwssites, en AI-crawlers en -agents in AI-agents en LLM-scrapers.
Eerst zien, dan blokkeren
Begin in monitormodus. Niemand wordt tegengehouden, en elk antwoord zegt wat de blokkeermodus had gedaan, zodat je leert hoeveel van je prijspagina's of je archief door scripts wordt gelezen voordat je verandert wat wie dan ook ziet.
Blijf fail-open
Een pagina die op een botcontrole wacht, is traag als de controle traag is. Gebruik een korte timeout en serveer de pagina bij elke fout: een scraper die tijdens een storing een pagina krijgt, kost minder dan lezers die er geen krijgen. Meer in waarom een botcontrole fail-open moet zijn.
Bronnen
Gecontroleerd op 28 oktober 2026.