ボットディレクトリ
Bot Protection が検証するクローラーと AI エージェント
以下の各ボットは自分が何者かを名乗り、そのベンダーが証明の手段を公開しています: クロール元のアドレス、またはリクエストに署名する鍵です。ボットの名前は誰でも書けますが、証明になるのはアドレスか署名だけです。これらはベンダー自身のリストで、毎日読み直され、Bot Protection がすべてのリクエストの検証に使うものと同じです。
検索エンジン
| Bot | ベンダー | 検証方法 | デフォルト |
|---|---|---|---|
Googlebot | 公開アドレス | 通す | |
Applebot | Apple | 公開アドレス | 通す |
DuckDuckBot | DuckDuckGo | 公開アドレス | 通す |
AI アシスタントと AI 検索
| Bot | ベンダー | 検証方法 | デフォルト |
|---|---|---|---|
OAI-SearchBot | OpenAI | 公開アドレス | 通す |
ChatGPT-User | OpenAI | 公開アドレス | 通す |
OAI-AdsBot | OpenAI | 公開アドレス | 通す |
Claude-User | Anthropic | 公開アドレス | 通す |
Claude-SearchBot | Anthropic | 公開アドレス | 通す |
PerplexityBot | Perplexity | 公開アドレス | 通す |
Perplexity-User | Perplexity | 公開アドレス | 通す |
Google-CloudVertexBot | 公開アドレス | 通す | |
Google-Agent | 公開アドレス | 通す | |
DuckAssistBot | DuckDuckGo | 公開アドレス | 通す |
MistralAI-User | Mistral AI | 公開アドレス | 通す |
MistralAI-Index | Mistral AI | 公開アドレス | 通す |
AI エージェント
| Bot | ベンダー | 検証方法 | デフォルト |
|---|---|---|---|
ChatGPT agent | OpenAI | Web Bot Auth 署名 | 通す |
スクレイピング・AI 学習クローラー
SEO ツール
| Bot | ベンダー | 検証方法 | デフォルト |
|---|---|---|---|
AhrefsBot | Ahrefs | 公開アドレス | 通す |
AhrefsSiteAudit | Ahrefs | 公開アドレス | 通す |
リンクプレビュー
| Bot | ベンダー | 検証方法 | デフォルト |
|---|---|---|---|
TelegramBot | Telegram | 公開アドレス | 通す |
死活監視サービス
| Bot | ベンダー | 検証方法 | デフォルト |
|---|---|---|---|
UptimeRobot | UptimeRobot | 公開アドレス | 通す |
Pingdom.com_bot | Pingdom | 公開アドレス | 通す |
Better Uptime Bot | Better Stack | 公開アドレス | 通す |
インターネットスキャナー
| Bot | ベンダー | 検証方法 | デフォルト |
|---|---|---|---|
CensysInspect | Censys | 公開アドレス | ブロック |
Expanse | Palo Alto Networks | 公開アドレス | ブロック |
デフォルトは、あなたが選ぶまで Bot Protection が検証済みのボットに返す応答です。セットアップページで種類ごとに、またはボットごとに、通すかブロックするかを選べます。
名乗るが検証できないボット
これらのクローラーは User-Agent で名乗りますが、ベンダーが証明となるアドレスや鍵を公開していないため、名前だけでは何も証明できません。その名前を名乗るリクエストは、ほかの訪問者と同じように判定されます。
| Bot | ベンダー | 用途 |
|---|---|---|
Amazonbot | Amazon | AI 学習 |
Amzn-SearchBot | Amazon | AI 検索と回答 |
Amzn-User | Amazon | AI 検索と回答 |
meta-externalagent | Meta | AI 学習 |
meta-externalfetcher | Meta | AI 検索と回答 |
Meta-WebIndexer | Meta | AI 検索と回答 |
bingbot | Microsoft | 検索エンジン |
Bytespider | ByteDance | AI 学習 |
cohere-ai | Cohere | AI 学習 |
AI2Bot | Allen Institute for AI | AI 学習 |
SemrushBot | Semrush | SEO ツール |
MJ12bot | Majestic | SEO ツール |
facebookexternalhit | Meta | リンクプレビュー |
Twitterbot | X | リンクプレビュー |
Slackbot | Slack | リンクプレビュー |
LinkedInBot | リンクプレビュー | |
Discordbot | Discord | リンクプレビュー |