Bots de IA
CCBot: o que é, suas faixas de IP e como bloqueá-lo
CCBot é o crawler da Common Crawl para Treinamento de IA.
| Fornecedor | Common Crawl |
|---|---|
| Para que serve | Treinamento de IA |
| No User-Agent | CCBot |
| A lista de endereços do fornecedor | https://index.commoncrawl.org/ccbot.json |
| Faixas de IP | 5 |
Ele leva páginas para treinar modelos de IA e não traz ninguém de volta ao seu site. O Bot Protection o bloqueia por padrão; você pode liberá-lo.
Como verificá-lo
Qualquer bot pode escrever CCBot no User-Agent. Uma requisição é do CCBot só quando o endereço está na lista publicada pela Common Crawl abaixo: verifique o endereço, não o nome.
Como bloqueá-lo
Com o robots.txt, você pede que ele fique de fora:
User-agent: CCBot Disallow: /
O robots.txt é um pedido, não um bloqueio, e não distingue o crawler verdadeiro de um bot que usa o nome dele. O Bot Protection verifica o CCBot pelo endereço em cada requisição e responde como você escolher na página Configuração, por tipo ou só para o CCBot; um bot que apenas usa o nome é julgado como qualquer outro bot.
Suas faixas de IP
Da própria lista da Common Crawl, baixada de novo todo dia.
IPv4
3.41.188.32/29 18.97.9.168/29 18.97.14.80/29 18.97.14.88/30
IPv6
2600:1f28:365:8000::/56