Bot-Verzeichnis
Die Crawler und KI-Agenten, die Bot Protection verifiziert
Jeder Bot unten sagt, wer er ist, und sein Anbieter veröffentlicht, wie man es beweist: die Adressen, von denen er crawlt, oder die Schlüssel, mit denen er seine Anfragen signiert. Jeder kann den Namen eines Bots schreiben; nur die Adresse oder die Signatur beweist ihn. Es sind die eigenen Listen der Anbieter, jeden Tag neu gelesen, dieselben, gegen die Bot Protection jede Anfrage verifiziert.
Suchmaschinen
| Bot | Anbieter | Verifiziert durch | Standardmäßig |
|---|---|---|---|
Googlebot | Veröffentlichte Adressen | Durchlassen | |
Applebot | Apple | Veröffentlichte Adressen | Durchlassen |
DuckDuckBot | DuckDuckGo | Veröffentlichte Adressen | Durchlassen |
KI-Assistenten und KI-Suche
| Bot | Anbieter | Verifiziert durch | Standardmäßig |
|---|---|---|---|
OAI-SearchBot | OpenAI | Veröffentlichte Adressen | Durchlassen |
ChatGPT-User | OpenAI | Veröffentlichte Adressen | Durchlassen |
OAI-AdsBot | OpenAI | Veröffentlichte Adressen | Durchlassen |
Claude-User | Anthropic | Veröffentlichte Adressen | Durchlassen |
Claude-SearchBot | Anthropic | Veröffentlichte Adressen | Durchlassen |
PerplexityBot | Perplexity | Veröffentlichte Adressen | Durchlassen |
Perplexity-User | Perplexity | Veröffentlichte Adressen | Durchlassen |
Google-CloudVertexBot | Veröffentlichte Adressen | Durchlassen | |
Google-Agent | Veröffentlichte Adressen | Durchlassen | |
DuckAssistBot | DuckDuckGo | Veröffentlichte Adressen | Durchlassen |
MistralAI-User | Mistral AI | Veröffentlichte Adressen | Durchlassen |
MistralAI-Index | Mistral AI | Veröffentlichte Adressen | Durchlassen |
KI-Agenten
| Bot | Anbieter | Verifiziert durch | Standardmäßig |
|---|---|---|---|
ChatGPT agent | OpenAI | Web-Bot-Auth-Signatur | Durchlassen |
Scraping- und KI-Trainings-Crawler
| Bot | Anbieter | Verifiziert durch | Standardmäßig |
|---|---|---|---|
GPTBot | OpenAI | Veröffentlichte Adressen | Blockieren |
ClaudeBot | Anthropic | Veröffentlichte Adressen | Blockieren |
CCBot | Common Crawl | Veröffentlichte Adressen | Blockieren |
SEO-Tools
| Bot | Anbieter | Verifiziert durch | Standardmäßig |
|---|---|---|---|
AhrefsBot | Ahrefs | Veröffentlichte Adressen | Durchlassen |
AhrefsSiteAudit | Ahrefs | Veröffentlichte Adressen | Durchlassen |
Linkvorschauen
| Bot | Anbieter | Verifiziert durch | Standardmäßig |
|---|---|---|---|
TelegramBot | Telegram | Veröffentlichte Adressen | Durchlassen |
Uptime-Monitore
| Bot | Anbieter | Verifiziert durch | Standardmäßig |
|---|---|---|---|
UptimeRobot | UptimeRobot | Veröffentlichte Adressen | Durchlassen |
Pingdom.com_bot | Pingdom | Veröffentlichte Adressen | Durchlassen |
Better Uptime Bot | Better Stack | Veröffentlichte Adressen | Durchlassen |
Internet-Scanner
| Bot | Anbieter | Verifiziert durch | Standardmäßig |
|---|---|---|---|
CensysInspect | Censys | Veröffentlichte Adressen | Blockieren |
Expanse | Palo Alto Networks | Veröffentlichte Adressen | Blockieren |
Standardmäßig ist, was Bot Protection einem verifizierten Bot antwortet, bis Sie wählen: Auf der Seite Einrichtung lassen Sie jede Art durch oder blockieren sie, oder jeden Bot einzeln.
Benannt, nie verifiziert
Diese Crawler nennen sich in ihrem User-Agent, aber ihre Anbieter veröffentlichen keine Adressen oder Schlüssel, die es beweisen, also beweist der Name allein nichts: Eine Anfrage, die ihn trägt, wird wie jeder andere Besucher beurteilt.
| Bot | Anbieter | Wofür er da ist |
|---|---|---|
Amazonbot | Amazon | KI-Training |
Amzn-SearchBot | Amazon | KI-Suche und -Antworten |
Amzn-User | Amazon | KI-Suche und -Antworten |
meta-externalagent | Meta | KI-Training |
meta-externalfetcher | Meta | KI-Suche und -Antworten |
Meta-WebIndexer | Meta | KI-Suche und -Antworten |
bingbot | Microsoft | Suchmaschine |
Bytespider | ByteDance | KI-Training |
cohere-ai | Cohere | KI-Training |
AI2Bot | Allen Institute for AI | KI-Training |
SemrushBot | Semrush | SEO-Tool |
MJ12bot | Majestic | SEO-Tool |
facebookexternalhit | Meta | Linkvorschau |
Twitterbot | X | Linkvorschau |
Slackbot | Slack | Linkvorschau |
LinkedInBot | Linkvorschau | |
Discordbot | Discord | Linkvorschau |