Korzen

Blog

KI-Agenten und LLM-Scraper: was Sie hereinlassen und wo Sie prüfen

KI-Crawler lesen Ihre Seiten, und KI-Agenten füllen heute Formulare in echten Browsern aus. Welche Sie willkommen heißen, welche Sie stoppen, und warum die Prüfung zur Aktion gehört, nicht zur Seite.

Zwei Arten von KI-Traffic erreichen heute eine Website. LLM-Crawler lesen Seiten, um Modelle zu trainieren oder um eine Frage zu beantworten, die jemand einem Chatbot gestellt hat. KI-Agenten gehen weiter: Ein Modell steuert einen echten Browser, klickt, tippt und sendet Formulare im Auftrag eines Menschen ab. Sie werfen unterschiedliche Fragen auf, und jede lässt sich an einer anderen Stelle am besten beantworten.

LLM-Crawler: am Edge entscheiden

Crawler lesen Seiten. Die meisten großen geben sich im User-Agent zu erkennen und folgen der robots.txt, also ist diese Datei der erste Ort, um festzulegen, was sie lesen dürfen. Ihr CDN kann das gegenüber denen durchsetzen, die sie ignorieren, und manche CDNs blockieren KI-Crawler von sich aus oder lassen sie zahlen. Inhalte, die Sie verkaufen, etwa Artikel hinter einer Paywall oder eine Preisliste, brauchen mehr: Der Fall der Verlage steht in Bot-Schutz für Nachrichtenseiten.

Bot Protection führt keine Liste von Crawlern und braucht keine: Es wird zu Aktionen befragt, nicht zu Seitenaufrufen.

KI-Agenten: bei der Aktion entscheiden

Ein Agent, der bucht, sich registriert oder kauft, tut das über dieselben Formulare, die Ihre Kunden nutzen. Manches davon ist willkommen, etwa ein Mensch, der einen Kauf an einen Assistenten delegiert; manches ist der alte Missbrauch mit einem neuen Fahrer, der Konten anlegt, kostenlose Tests abgreift oder Passwörter in großer Zahl ausprobiert. Der Seitenaufruf sagt wenig. Registrierung, Login und Checkout sind die Stellen, an denen die Frage zählt, also fragen Sie dort:

  • Registrierung und kostenlose Tests: Ein Agent, der in einer Schleife Konten anlegt, ist ein Registrierungs-Bot, egal wer ihn steuert. Halten Sie das Gratis-Guthaben bei bot zurück; siehe Missbrauch kostenloser Tests.
  • Login: ein zweiter Faktor für bot. Ein Assistent, der für einen echten Kunden handelt, besteht ihn gemeinsam mit ihm; ein Credential Stuffer nicht.
  • Checkout: Automatisierung, die knappe Ware kauft oder Karten testet, wird bei bot_high abgelehnt, ob ein Modell oder ein Skript am Steuer sitzt.

Was einen gesteuerten Browser verrät

Die meisten heutigen Agenten steuern Chrome über Playwright oder das DevTools-Protokoll, dieselben Werkzeuge, die Scraper nutzen. So menschlich die Entscheidungen des Modells auch sind, der Browser zeigt weiterhin, wie er gesteuert wird:

  • Wie die Eingabe ankommt. Ein Klick ohne vorherige Mausbewegung, Tasten, die nach wenigen Millisekunden losgelassen werden, Text, der ohne Tastendruck eingefügt wird.
  • Der Browser selbst. Automatisierungs-Flags, eine Software-GPU, ein User-Agent, der den Client Hints des Browsers widerspricht.
  • Das Muster. Viele Anfragen auf wenigen Pfaden, neue Sessions in Folge, ein Gerät hinter vielen Netzen.

In unseren eigenen Tests im Oktober 2026 wurden fünfzehn Automatisierungs-Tools, von einfachen Skripten bis zu Playwright mit Stealth-Flags und einem echten, über das DevTools-Protokoll gesteuerten Chrome, alle erkannt: Die meisten ihrer Antworten an einem Login-Formular waren bot oder bot_high.

Die Guten bewusst hereinlassen

Wenn Agenten bei Ihnen kaufen sollen, geben Sie ihnen eine Tür, die für sie gemacht ist: eine API oder einen Step-up, den der Mensch hinter dem Agenten bestehen kann, etwa einen Passkey. Bot Protection antwortet step_up, wenn die Beweise in beide Richtungen zeigen, und im Monitor Mode sehen Sie, wie viel Ihres Traffics automatisiert ist, bevor Sie irgendetwas blockieren.