KI-Bots
CCBot: was es ist, seine IP-Bereiche und wie man es blockiert
CCBot ist der Crawler von Common Crawl für KI-Training.
| Anbieter | Common Crawl |
|---|---|
| Wofür er da ist | KI-Training |
| In seinem User-Agent | CCBot |
| Die Adressliste seines Anbieters | https://index.commoncrawl.org/ccbot.json |
| IP-Bereiche | 5 |
Er nimmt Seiten, um KI-Modelle zu trainieren, und schickt niemanden auf Ihre Website zurück. Bot Protection blockiert ihn standardmäßig; Sie können ihn durchlassen.
Wie man ihn verifiziert
Jeder Bot kann CCBot in seinen User-Agent schreiben. Eine Anfrage ist nur dann CCBot, wenn ihre Adresse in der unten veröffentlichten Liste von Common Crawl steht: Prüfen Sie die Adresse, nicht den Namen.
Wie man ihn blockiert
Mit robots.txt bitten Sie ihn, draußen zu bleiben:
User-agent: CCBot Disallow: /
robots.txt ist eine Bitte, keine Sperre, und unterscheidet den echten Crawler nicht von einem Bot mit seinem Namen. Bot Protection verifiziert CCBot bei jeder Anfrage über seine Adresse und antwortet ihm, wie Sie es auf der Seite Einrichtung wählen, pro Art oder nur für CCBot; ein Bot, der nur den Namen trägt, wird wie jeder andere Bot beurteilt.
Seine IP-Bereiche
Aus der eigenen Liste von Common Crawl, jeden Tag neu heruntergeladen.
IPv4
3.41.188.32/29 18.97.9.168/29 18.97.14.80/29 18.97.14.88/30
IPv6
2600:1f28:365:8000::/56