Twee soorten AI-verkeer bereiken vandaag een site. LLM-crawlers lezen pagina's om modellen te trainen of om een vraag te beantwoorden die iemand aan een chatbot stelde. AI-agents gaan verder: een model bestuurt een echte browser, klikt, typt en verstuurt formulieren namens iemand. Ze roepen verschillende vragen op, en die worden elk op een andere plek het best beantwoord.
LLM-crawlers: beslis aan de rand
Crawlers lezen pagina's. De meeste grote maken zich bekend in de User-Agent en volgen robots.txt, dus dat bestand is de eerste plek om te zeggen wat ze mogen lezen. Je CDN kan het afdwingen bij crawlers die het negeren, en sommige CDN's blokkeren AI-crawlers uit zichzelf of laten ze betalen. Content die je verkoopt, zoals artikelen achter een paywall of een prijslijst, vraagt meer: het geval van uitgevers staat in botbescherming voor nieuwssites.
Bot Protection houdt geen lijst van crawlers bij, en heeft die ook niet nodig: het wordt gevraagd naar acties, niet naar paginaweergaven.
AI-agents: beslis bij de actie
Een agent die boekt, zich registreert of koopt, doet dat via dezelfde formulieren als je klanten. Een deel daarvan is welkom, iemand die een aankoop aan een assistent overlaat; een ander deel is het oude misbruik met een nieuwe bestuurder, die accounts aanmaakt, gratis trials opstrijkt of wachtwoorden op grote schaal probeert. De paginaweergave zegt weinig. Registratie, inloggen en checkout zijn de plekken waar de vraag ertoe doet, dus daar stel je hem:
- Registratie en gratis trials: een agent die in een lus accounts aanmaakt is een registratiebot, wie hem ook bestuurt. Houd de gratis credits achter bij
bot; zie trialmisbruik. - Inloggen: een tweede factor voor
bot. Een assistent die voor een echte klant handelt, komt er samen met die klant door; een credential stuffer niet. - Checkout: automatisering die schaarse voorraad koopt of kaarten test, wordt bij
bot_highgeweigerd, of er nu een model of een script aan het stuur zit.
Wat een bestuurde browser verraadt
De meeste agents van nu besturen Chrome via Playwright of het DevTools-protocol, dezelfde tools die scrapers gebruiken. Hoe menselijk de keuzes van het model ook zijn, de browser laat nog steeds zien hoe hij bestuurd wordt:
- Hoe de invoer binnenkomt. Een klik zonder muisbeweging ervoor, toetsen die binnen een paar milliseconden worden losgelaten, tekst die wordt ingevoegd zonder dat er een toets is ingedrukt.
- De browser zelf. Automatiseringsflags, een software-GPU, een User-Agent die de client hints van de browser tegenspreekt.
- Het patroon. Veel verzoeken op weinig paden, nieuwe sessies achter elkaar, één apparaat achter veel netwerken.
In onze eigen tests, in oktober 2026, werden vijftien automatiseringstools, van eenvoudige scripts tot Playwright met stealth-flags en een echte Chrome bestuurd via het DevTools-protocol, allemaal herkend: de meeste van hun antwoorden bij een inlogformulier waren bot of bot_high.
Laat de goede bewust binnen
Wil je dat agents bij je kopen, geef ze dan een deur die voor hen gemaakt is: een API, of een step-up die de persoon achter de agent kan doorstaan, zoals een passkey. Bot Protection antwoordt step_up als het bewijs beide kanten op wijst, en in monitor mode zie je hoeveel van je verkeer geautomatiseerd is voordat je iets blokkeert.