Bots de IA
Os crawlers de IA, e como reconhecer os verdadeiros
Cada crawler de IA abaixo se identifica no User-Agent, e o fornecedor publica os endereços de onde ele rastreia. Qualquer um pode escrever o nome; só o endereço comprova. As faixas aqui são as listas dos próprios fornecedores, baixadas de novo todo dia, as mesmas com que o Bot Protection verifica cada requisição.
| Bot de IA | Fornecedor | Para que serve | Faixas de IP |
|---|---|---|---|
GPTBot | OpenAI | Treinamento de IA | 18 |
OAI-SearchBot | OpenAI | Busca e respostas com IA | 39 |
ChatGPT-User | OpenAI | Busca e respostas com IA | 234 |
OAI-AdsBot | OpenAI | Busca e respostas com IA | 2 |
ClaudeBot | Anthropic | Treinamento de IA | 14 |
Claude-User | Anthropic | Busca e respostas com IA | 14 |
Claude-SearchBot | Anthropic | Busca e respostas com IA | 14 |
PerplexityBot | Perplexity | Busca e respostas com IA | 8 |
Perplexity-User | Perplexity | Busca e respostas com IA | 4 |
CCBot | Common Crawl | Treinamento de IA | 5 |
Google-CloudVertexBot | Busca e respostas com IA | 317 | |
Google-Agent | Busca e respostas com IA | 20 | |
DuckAssistBot | DuckDuckGo | Busca e respostas com IA | 486 |
MistralAI-User | Mistral AI | Busca e respostas com IA | 4 |
MistralAI-Index | Mistral AI | Busca e respostas com IA | 2 |
Os crawlers de treinamento de IA levam páginas para treinar modelos e não trazem ninguém de volta; os de busca e respostas com IA leem uma página para a busca de uma IA ou para uma pessoa que pediu a um assistente. Crawlers cujos fornecedores não publicam endereços não estão na lista: o nome deles não pode ser verificado.