Bots IA
CCBot : ce que c'est, ses plages d'IP et comment le bloquer
CCBot est le crawler de Common Crawl pour Entraînement IA.
| Éditeur | Common Crawl |
|---|---|
| À quoi il sert | Entraînement IA |
| Dans son User-Agent | CCBot |
| La liste d'adresses de son éditeur | https://index.commoncrawl.org/ccbot.json |
| Plages d'IP | 5 |
Il prend des pages pour entraîner des modèles d'IA et ne renvoie personne vers votre site. Bot Protection le bloque par défaut ; vous pouvez le laisser passer.
Comment le vérifier
N'importe quel bot peut écrire CCBot dans son User-Agent. Une requête est CCBot seulement si son adresse est dans la liste publiée par Common Crawl ci-dessous : vérifiez l'adresse, pas le nom.
Comment le bloquer
Avec robots.txt, vous lui demandez de rester dehors :
User-agent: CCBot Disallow: /
robots.txt est une demande, pas un blocage, et ne distingue pas le vrai crawler d'un bot qui porte son nom. Bot Protection vérifie CCBot par son adresse à chaque requête et lui répond comme vous le choisissez sur la page Configuration, par type ou pour CCBot seul ; un bot qui ne fait que porter le nom est jugé comme n'importe quel autre bot.
Ses plages d'IP
D'après la liste de Common Crawl, téléchargée à nouveau chaque jour.
IPv4
3.41.188.32/29 18.97.9.168/29 18.97.14.80/29 18.97.14.88/30
IPv6
2600:1f28:365:8000::/56