Bots IA
Les crawlers IA, et comment reconnaître les vrais
Chaque crawler IA ci-dessous se nomme dans son User-Agent, et son éditeur publie les adresses d'où il explore. N'importe qui peut écrire le nom ; seule l'adresse le prouve. Les plages ici sont les listes des éditeurs eux-mêmes, téléchargées à nouveau chaque jour, les mêmes que Bot Protection utilise pour vérifier chaque requête.
| Bot IA | Éditeur | À quoi il sert | Plages d'IP |
|---|---|---|---|
GPTBot | OpenAI | Entraînement IA | 18 |
OAI-SearchBot | OpenAI | Recherche et réponses IA | 39 |
ChatGPT-User | OpenAI | Recherche et réponses IA | 234 |
OAI-AdsBot | OpenAI | Recherche et réponses IA | 2 |
ClaudeBot | Anthropic | Entraînement IA | 14 |
Claude-User | Anthropic | Recherche et réponses IA | 14 |
Claude-SearchBot | Anthropic | Recherche et réponses IA | 14 |
PerplexityBot | Perplexity | Recherche et réponses IA | 8 |
Perplexity-User | Perplexity | Recherche et réponses IA | 4 |
CCBot | Common Crawl | Entraînement IA | 5 |
Google-CloudVertexBot | Recherche et réponses IA | 317 | |
Google-Agent | Recherche et réponses IA | 20 | |
DuckAssistBot | DuckDuckGo | Recherche et réponses IA | 486 |
MistralAI-User | Mistral AI | Recherche et réponses IA | 4 |
MistralAI-Index | Mistral AI | Recherche et réponses IA | 2 |
Les crawlers d'entraînement IA prennent des pages pour entraîner des modèles et ne renvoient personne ; ceux de recherche et réponses IA lisent une page pour la recherche d'une IA ou pour une personne qui l'a demandée à un assistant. Les crawlers dont l'éditeur ne publie pas d'adresses ne figurent pas ici : leur nom ne peut pas être vérifié.