Bots de IA
Claude-SearchBot: o que é, suas faixas de IP e como bloqueá-lo
Claude-SearchBot é o crawler da Anthropic para Busca e respostas com IA.
| Fornecedor | Anthropic |
|---|---|
| Para que serve | Busca e respostas com IA |
| No User-Agent | Claude-SearchBot |
| A lista de endereços do fornecedor | https://claude.com/crawling/bots.json |
| Faixas de IP | 14 |
Ele lê uma página para a busca de uma IA ou para uma pessoa que pediu a um assistente, e pode trazer visitantes. O Bot Protection o libera por padrão; você pode bloqueá-lo.
Como verificá-lo
Qualquer bot pode escrever Claude-SearchBot no User-Agent. Uma requisição é do Claude-SearchBot só quando o endereço está na lista publicada pela Anthropic abaixo: verifique o endereço, não o nome.
Como bloqueá-lo
Com o robots.txt, você pede que ele fique de fora:
User-agent: Claude-SearchBot Disallow: /
O robots.txt é um pedido, não um bloqueio, e não distingue o crawler verdadeiro de um bot que usa o nome dele. O Bot Protection verifica o Claude-SearchBot pelo endereço em cada requisição e responde como você escolher na página Configuração, por tipo ou só para o Claude-SearchBot; um bot que apenas usa o nome é julgado como qualquer outro bot.
Suas faixas de IP
Da própria lista da Anthropic, baixada de novo todo dia.
IPv4
216.73.216.0/22 34.162.230.222/32 34.162.244.71/32 34.162.191.81/32 34.162.86.102/32 136.79.143.251/32 136.83.20.215/32 34.162.111.78/32 34.162.90.102/32 34.162.27.34/32 34.152.124.140/32 34.153.21.190/32 34.186.252.4/32 34.162.153.71/32