Het product van een redactie is tekst, en tekst is het makkelijkst te kopiëren ding op het web. Scrapers publiceren artikelen binnen minuten opnieuw, AI-crawlers nemen complete archieven mee en bots die de paywall omzeilen lezen gratis, terwijl de uitgever betaalt voor elke geserveerde pagina.
Wat bots met uitgevers doen
- Scrapen en herpubliceren. Artikelen verschijnen op kopieersites, soms hoger in de zoekresultaten dan het origineel.
- Crawlen voor AI. Sommige crawlers maken zich bekend en respecteren
robots.txt; veel doen dat niet, of doen zich voor als browser. - Langs de paywall. Scripts die de meter resetten of het artikel uit de paginabron lezen.
- Advertentieverkeer opblazen. Pageviews van bots waarvoor adverteerders uiteindelijk minder betalen, of die de advertentieaccounts van de site in gevaar brengen.
- Misbruik van reacties en registraties. Spam, en nepaccounts voor gratis proefabonnementen.
Lezers, crawlers die je wilt, en de rest
Niet elke bot is slecht: zoekmachines brengen lezers. De vraag is welk geautomatiseerd verkeer je hebt uitgenodigd. De crawlers die je uitnodigt, een zoekmachine of een AI-crawler met licentie, noem je in robots.txt en je server of CDN laat ze door voordat hij iets vraagt; Bot Protection beoordeelt de rest op wat het kan zien, zoals een scrapingtool of een gescripte browser. Meer in AI-agents en LLM-scrapers.
Waar je het vraagt
- De artikelpagina, voor content achter een meter of betaalmuur: serveer
bot_highalleen de teaser; laatbotmeteen meetellen voor de meter. - Het archief en de API's: vertraag of weiger
bot_high. - Reacties en aanmeldingen voor de nieuwsbrief: weiger
bot_high, houdbotvast voor controle.
Alleen vragen op de pagina's die ertoe doen houdt de kosten in de hand: de homepage en de rubriekspagina's kunnen voor iedereen open blijven.