Botoverzicht
De crawlers en AI-agents die Bot Protection verifieert
Elke bot hieronder zegt wie hij is, en zijn leverancier publiceert hoe je dat bewijst: de adressen waarvandaan hij crawlt, of de sleutels waarmee hij zijn verzoeken ondertekent. Iedereen kan de naam van een bot schrijven; alleen het adres of de handtekening bewijst het. Dit zijn de eigen lijsten van de leveranciers, elke dag opnieuw gelezen, dezelfde waartegen Bot Protection elk verzoek verifieert.
Zoekmachines
| Bot | Leverancier | Geverifieerd via | Standaard |
|---|---|---|---|
Googlebot | Gepubliceerde adressen | Doorlaten | |
Applebot | Apple | Gepubliceerde adressen | Doorlaten |
DuckDuckBot | DuckDuckGo | Gepubliceerde adressen | Doorlaten |
AI-assistenten en AI-zoekmachines
| Bot | Leverancier | Geverifieerd via | Standaard |
|---|---|---|---|
OAI-SearchBot | OpenAI | Gepubliceerde adressen | Doorlaten |
ChatGPT-User | OpenAI | Gepubliceerde adressen | Doorlaten |
OAI-AdsBot | OpenAI | Gepubliceerde adressen | Doorlaten |
Claude-User | Anthropic | Gepubliceerde adressen | Doorlaten |
Claude-SearchBot | Anthropic | Gepubliceerde adressen | Doorlaten |
PerplexityBot | Perplexity | Gepubliceerde adressen | Doorlaten |
Perplexity-User | Perplexity | Gepubliceerde adressen | Doorlaten |
Google-CloudVertexBot | Gepubliceerde adressen | Doorlaten | |
Google-Agent | Gepubliceerde adressen | Doorlaten | |
DuckAssistBot | DuckDuckGo | Gepubliceerde adressen | Doorlaten |
MistralAI-User | Mistral AI | Gepubliceerde adressen | Doorlaten |
MistralAI-Index | Mistral AI | Gepubliceerde adressen | Doorlaten |
AI-agents
| Bot | Leverancier | Geverifieerd via | Standaard |
|---|---|---|---|
ChatGPT agent | OpenAI | Web Bot Auth-handtekening | Doorlaten |
Scraping- en AI-trainingscrawlers
| Bot | Leverancier | Geverifieerd via | Standaard |
|---|---|---|---|
GPTBot | OpenAI | Gepubliceerde adressen | Blokkeren |
ClaudeBot | Anthropic | Gepubliceerde adressen | Blokkeren |
CCBot | Common Crawl | Gepubliceerde adressen | Blokkeren |
SEO-tools
| Bot | Leverancier | Geverifieerd via | Standaard |
|---|---|---|---|
AhrefsBot | Ahrefs | Gepubliceerde adressen | Doorlaten |
AhrefsSiteAudit | Ahrefs | Gepubliceerde adressen | Doorlaten |
Linkvoorbeelden
| Bot | Leverancier | Geverifieerd via | Standaard |
|---|---|---|---|
TelegramBot | Telegram | Gepubliceerde adressen | Doorlaten |
Uptime-monitors
| Bot | Leverancier | Geverifieerd via | Standaard |
|---|---|---|---|
UptimeRobot | UptimeRobot | Gepubliceerde adressen | Doorlaten |
Pingdom.com_bot | Pingdom | Gepubliceerde adressen | Doorlaten |
Better Uptime Bot | Better Stack | Gepubliceerde adressen | Doorlaten |
Internetscanners
| Bot | Leverancier | Geverifieerd via | Standaard |
|---|---|---|---|
CensysInspect | Censys | Gepubliceerde adressen | Blokkeren |
Expanse | Palo Alto Networks | Gepubliceerde adressen | Blokkeren |
Standaard is wat Bot Protection een geverifieerde bot antwoordt tot je kiest: op de pagina Set-up laat je elke soort door of blokkeer je die, of elke bot apart.
Benoemd, nooit geverifieerd
Deze crawlers noemen zichzelf in hun User-Agent, maar hun leveranciers publiceren geen adressen of sleutels om dat te bewijzen, dus de naam alleen bewijst niets: een verzoek dat hem draagt, wordt beoordeeld als elke andere bezoeker.
| Bot | Leverancier | Waarvoor hij dient |
|---|---|---|
Amazonbot | Amazon | AI-training |
Amzn-SearchBot | Amazon | AI-zoeken en -antwoorden |
Amzn-User | Amazon | AI-zoeken en -antwoorden |
meta-externalagent | Meta | AI-training |
meta-externalfetcher | Meta | AI-zoeken en -antwoorden |
Meta-WebIndexer | Meta | AI-zoeken en -antwoorden |
bingbot | Microsoft | Zoekmachine |
Bytespider | ByteDance | AI-training |
cohere-ai | Cohere | AI-training |
AI2Bot | Allen Institute for AI | AI-training |
SemrushBot | Semrush | SEO-tool |
MJ12bot | Majestic | SEO-tool |
facebookexternalhit | Meta | Linkvoorbeeld |
Twitterbot | X | Linkvoorbeeld |
Slackbot | Slack | Linkvoorbeeld |
LinkedInBot | Linkvoorbeeld | |
Discordbot | Discord | Linkvoorbeeld |