Bots de IA
ClaudeBot: o que é, suas faixas de IP e como bloqueá-lo
ClaudeBot é o crawler da Anthropic para Treinamento de IA.
| Fornecedor | Anthropic |
|---|---|
| Para que serve | Treinamento de IA |
| No User-Agent | ClaudeBot |
| A lista de endereços do fornecedor | https://claude.com/crawling/bots.json |
| Faixas de IP | 14 |
Ele leva páginas para treinar modelos de IA e não traz ninguém de volta ao seu site. O Bot Protection o bloqueia por padrão; você pode liberá-lo.
Como verificá-lo
Qualquer bot pode escrever ClaudeBot no User-Agent. Uma requisição é do ClaudeBot só quando o endereço está na lista publicada pela Anthropic abaixo: verifique o endereço, não o nome.
Como bloqueá-lo
Com o robots.txt, você pede que ele fique de fora:
User-agent: ClaudeBot Disallow: /
O robots.txt é um pedido, não um bloqueio, e não distingue o crawler verdadeiro de um bot que usa o nome dele. O Bot Protection verifica o ClaudeBot pelo endereço em cada requisição e responde como você escolher na página Configuração, por tipo ou só para o ClaudeBot; um bot que apenas usa o nome é julgado como qualquer outro bot.
Suas faixas de IP
Da própria lista da Anthropic, baixada de novo todo dia.
IPv4
216.73.216.0/22 34.162.230.222/32 34.162.244.71/32 34.162.191.81/32 34.162.86.102/32 136.79.143.251/32 136.83.20.215/32 34.162.111.78/32 34.162.90.102/32 34.162.27.34/32 34.152.124.140/32 34.153.21.190/32 34.186.252.4/32 34.162.153.71/32