AI-bots
CCBot: wat het is, de IP-bereiken en hoe u het blokkeert
CCBot is de crawler van Common Crawl voor AI-training.
| Leverancier | Common Crawl |
|---|---|
| Waarvoor hij dient | AI-training |
| In zijn User-Agent | CCBot |
| De adreslijst van de leverancier | https://index.commoncrawl.org/ccbot.json |
| IP-bereiken | 5 |
Hij neemt pagina's om AI-modellen te trainen en stuurt niemand terug naar uw site. Bot Protection blokkeert hem standaard; u kunt hem doorlaten.
Hoe u hem verifieert
Elke bot kan CCBot in zijn User-Agent schrijven. Een verzoek is alleen CCBot als het adres in de hieronder gepubliceerde lijst van Common Crawl staat: controleer het adres, niet de naam.
Hoe u hem blokkeert
Met robots.txt vraagt u hem weg te blijven:
User-agent: CCBot Disallow: /
robots.txt is een verzoek, geen blokkade, en kan de echte crawler niet onderscheiden van een bot die zijn naam draagt. Bot Protection verifieert CCBot bij elk verzoek aan zijn adres en antwoordt zoals u kiest op de pagina Set-up, per soort of alleen voor CCBot; een bot die alleen de naam draagt, wordt beoordeeld als elke andere bot.
De IP-bereiken
Uit de eigen lijst van Common Crawl, elke dag opnieuw gedownload.
IPv4
3.41.188.32/29 18.97.9.168/29 18.97.14.80/29 18.97.14.88/30
IPv6
2600:1f28:365:8000::/56