Bot IA
CCBot: cos'è, i suoi intervalli IP e come bloccarlo
CCBot è il crawler di Common Crawl per Addestramento IA.
| Fornitore | Common Crawl |
|---|---|
| A cosa serve | Addestramento IA |
| Nel suo User-Agent | CCBot |
| L'elenco di indirizzi del fornitore | https://index.commoncrawl.org/ccbot.json |
| Intervalli IP | 5 |
Prende pagine per addestrare modelli IA e non riporta nessuno sul tuo sito. Bot Protection lo blocca per impostazione predefinita; puoi lasciarlo passare.
Come verificarlo
Qualsiasi bot può scrivere CCBot nel suo User-Agent. Una richiesta è di CCBot solo quando il suo indirizzo è nell'elenco pubblicato da Common Crawl qui sotto: verifica l'indirizzo, non il nome.
Come bloccarlo
Con robots.txt, gli chiedi di restare fuori:
User-agent: CCBot Disallow: /
robots.txt è una richiesta, non un blocco, e non distingue il crawler vero da un bot che ne usa il nome. Bot Protection verifica CCBot dal suo indirizzo a ogni richiesta e gli risponde come scegli nella pagina Configurazione, per tipo o solo per CCBot; un bot che ne usa soltanto il nome è giudicato come qualsiasi altro bot.
I suoi intervalli IP
Dall'elenco di Common Crawl, scaricato di nuovo ogni giorno.
IPv4
3.41.188.32/29 18.97.9.168/29 18.97.14.80/29 18.97.14.88/30
IPv6
2600:1f28:365:8000::/56