Botoverzicht
CCBot: wat het is, de IP-bereiken en hoe je het blokkeert
CCBot is de crawler van Common Crawl voor AI-training.
| Leverancier | Common Crawl |
|---|---|
| Waarvoor hij dient | AI-training |
| In zijn User-Agent | CCBot |
| Geverifieerd via | Gepubliceerde adressen |
| De adreslijst van de leverancier | https://index.commoncrawl.org/ccbot.json |
| IP-bereiken | 5 |
| Standaard | Blokkeren |
Hij neemt pagina's om AI-modellen te trainen en stuurt niemand terug naar je site. Bot Protection blokkeert hem standaard; je kunt hem doorlaten.
Hoe je hem verifieert
Elke bot kan CCBot in zijn User-Agent schrijven. Een verzoek is alleen CCBot als het adres in de hieronder gepubliceerde lijst van Common Crawl staat: controleer het adres, niet de naam.
Hoe je hem blokkeert
Met robots.txt vraag je hem weg te blijven:
User-agent: CCBot Disallow: /
robots.txt is een verzoek, geen blokkade, en kan de echte crawler niet onderscheiden van een bot die zijn naam draagt. Bot Protection verifieert CCBot bij elk verzoek aan zijn adres en antwoordt zoals je kiest op de pagina Set-up, per soort of alleen voor CCBot; een bot die alleen de naam draagt, wordt beoordeeld als elke andere bot.
De IP-bereiken
Uit de eigen lijst van Common Crawl, elke dag opnieuw gedownload.
IPv4
3.41.188.32/29 18.97.9.168/29 18.97.14.80/29 18.97.14.88/30
IPv6
2600:1f28:365:8000::/56