AI ボット
AI クローラーと、本物の見分け方
以下の AI クローラーはそれぞれ User-Agent で名乗り、ベンダーがクロール元のアドレスを公開しています。名前は誰でも書けますが、証明になるのはアドレスだけです。ここのレンジはベンダー自身のリストで、毎日ダウンロードし直しており、Bot Protection がすべてのリクエストの検証に使うものと同じです。
| AI ボット名 | ベンダー | 用途 | IP レンジ |
|---|---|---|---|
GPTBot | OpenAI | AI 学習 | 18 |
OAI-SearchBot | OpenAI | AI 検索と回答 | 39 |
ChatGPT-User | OpenAI | AI 検索と回答 | 234 |
OAI-AdsBot | OpenAI | AI 検索と回答 | 2 |
ClaudeBot | Anthropic | AI 学習 | 14 |
Claude-User | Anthropic | AI 検索と回答 | 14 |
Claude-SearchBot | Anthropic | AI 検索と回答 | 14 |
PerplexityBot | Perplexity | AI 検索と回答 | 8 |
Perplexity-User | Perplexity | AI 検索と回答 | 4 |
CCBot | Common Crawl | AI 学習 | 5 |
Google-CloudVertexBot | AI 検索と回答 | 317 | |
Google-Agent | AI 検索と回答 | 20 | |
DuckAssistBot | DuckDuckGo | AI 検索と回答 | 486 |
MistralAI-User | Mistral AI | AI 検索と回答 | 4 |
MistralAI-Index | Mistral AI | AI 検索と回答 | 2 |
AI 学習クローラーはモデルの学習のためにページを取得し、訪問者を送り返しません。AI 検索・回答クローラーは AI の検索や、アシスタントに頼んだ人のためにページを読みます。アドレスを公開していないベンダーのクローラーは載せていません。名前を検証できないためです。