Web Scraping ist das automatisierte Kopieren der Inhalte oder Daten einer Website. OWASP definiert es als das Sammeln zugänglicher Daten zur späteren Nutzung, „etwa zur Ausnutzung proprietärer Daten oder zur Preisabsprache“, und listet die Namen auf, unter denen es läuft: Content Scraping, Datenaggregation, Harvesting, Screen Scraping und inzwischen LLM- und KI-Scraper. Manches Scraping ist willkommen, denn eine Suchmaschine ist ein Scraper, der Ihnen Leser schickt. Die Frage ist nie „ist das ein Bot“, sondern „wollten Sie ihn haben“.
Was Scraping Sie kostet
- Ihre Daten, gegen Sie verwendet. Ein Wettbewerber liest Ihre Preise, um sie zu unterbieten, eine Kopierseite veröffentlicht Ihre Artikel neu, ein Aggregator verkauft Ihre Angebote weiter.
- Die Rechnung für die Auslieferung. Die Wikimedia Foundation berichtete im April 2025, dass Bots etwa 35 % ihrer Seitenaufrufe ausmachten, aber mindestens 65 % ihres teuersten Traffics: der Anfragen, die an ihren Caches vorbei ihr zentrales Rechenzentrum erreichen.
- Konten, die dafür angelegt werden. OWASP merkt an, dass manches Scraping über gefälschte oder gestohlene Konten läuft, um an das zu kommen, was nur Mitglieder sehen. Damit wird Ihre Registrierung Teil des Problems: siehe gefälschte Registrierungen stoppen.
robots.txt ist eine Bitte, kein Schloss
Legen Sie in der robots.txt fest, was Crawler lesen dürfen; die großen, ehrlichen halten sich daran. Aber der Standard, der sie definiert, RFC 9309, sagt es deutlich: „Diese Regeln sind keine Form der Zugriffsautorisierung.“ Ein Scraper, der Ihre Preise will, liest sie nicht, also ist sie der Anfang, nicht das Ende.
Gewünschte Crawler durchlassen, mit Nachweis
Jeder kann Googlebot in einen User-Agent schreiben. Google rät Website-Betreibern, die Angabe stattdessen zu prüfen: mit einem Reverse- und Forward-DNS-Lookup auf die Adresse oder einem Abgleich mit den Adressbereichen, die Google veröffentlicht. Bot Protection übernimmt diese Prüfung für Sie: Wenn ein Crawler, der sich selbst benennt, von den veröffentlichten Adressen seines Anbieters kommt, nennt ihn die Antwort in crawler, mit seiner Art. Suchmaschinen, KI-Assistenten und Link-Vorschauen kommen durch, solange Sie sie nicht blockieren; Crawler für KI-Training werden blockiert, solange Sie sie nicht durchlassen, und Sie können für jeden Crawler einzeln entscheiden. Jeder Crawler, den es verifiziert, steht im Bot-Verzeichnis. Einer, der sich den Namen nur leiht, wird wie jeder andere Besucher beurteilt.
Dort fragen, wo die Daten sind
Scraper gehen dorthin, wo der Wert liegt, also gehört die Prüfung dorthin, nicht auf jede Seite: die Produkt- und Preisseiten, Suchergebnisse, Angebote, die Artikel, die Sie verkaufen, und das JSON, das Ihre eigenen Seiten abrufen. Ihr Server fragt Bot Protection, bevor er antwortet, und handelt nach der Klasse:
bot_high: ablehnen oder weniger ausliefern, etwa den Anreißer eines Artikels oder eine Seite ohne Preise.bot: verlangsamen, aus dem Cache bedienen oder über die Challenge-Seite schicken.unknown,human,human_highund die Crawler, die Sie haben wollen: die volle Seite.
Die Startseite und die Seiten, die nur Menschen hereinholen, können für alle offen bleiben. Nur dort zu fragen, wo die Daten sind, hält die Prüfung von den Pfaden fern, die sie nicht brauchen, und aus Ihrer Rechnung heraus. Verlage haben ihren eigenen Fall in Bot-Schutz für Nachrichtenseiten, KI-Crawler und -Agenten in KI-Agenten und LLM-Scraper.
Erst sehen, dann blockieren
Beginnen Sie im Monitor-Modus. Niemand wird gestoppt, und jede Antwort sagt, was der Block-Modus getan hätte, sodass Sie erfahren, wie viel Ihrer Preisseiten oder Ihres Archivs von Skripten gelesen wird, bevor Sie ändern, was irgendjemand sieht.
Fail-open bleiben
Eine Seite, die auf eine Bot-Prüfung wartet, ist langsam, wenn die Prüfung langsam ist. Nutzen Sie einen kurzen Timeout und liefern Sie die Seite bei jedem Fehler aus: Ein Scraper, der während eines Ausfalls eine Seite bekommt, kostet weniger als Leser, die keine bekommen. Mehr dazu in warum eine Bot-Prüfung fail-open sein muss.
Quellen
Geprüft am 28. Oktober 2026.