Bots de IA
CCBot: qué es, sus rangos de IP y cómo bloquearlo
CCBot es el crawler de Common Crawl para Entrenamiento de IA.
| Proveedor | Common Crawl |
|---|---|
| Para qué sirve | Entrenamiento de IA |
| En su User-Agent | CCBot |
| La lista de direcciones de su proveedor | https://index.commoncrawl.org/ccbot.json |
| Rangos de IP | 5 |
Toma páginas para entrenar modelos de IA y no trae a nadie de vuelta a tu sitio. Bot Protection lo bloquea por defecto; puedes permitirlo.
Cómo verificarlo
Cualquier bot puede escribir CCBot en su User-Agent. Una solicitud es de CCBot solo cuando su dirección está en la lista publicada por Common Crawl de abajo: verifica la dirección, no el nombre.
Cómo bloquearlo
Con robots.txt, le pides que no entre:
User-agent: CCBot Disallow: /
robots.txt es una petición, no un bloqueo, y no distingue el crawler verdadero de un bot que usa su nombre. Bot Protection verifica CCBot por su dirección en cada solicitud y le responde como elijas en la página Configuración, por tipo o solo para CCBot; un bot que solo usa el nombre se juzga como cualquier otro bot.
Sus rangos de IP
De la propia lista de Common Crawl, descargada de nuevo cada día.
IPv4
3.41.188.32/29 18.97.9.168/29 18.97.14.80/29 18.97.14.88/30
IPv6
2600:1f28:365:8000::/56