AI-bots
De AI-crawlers, en hoe u de echte herkent
Elke AI-crawler hieronder noemt zichzelf in zijn User-Agent, en de leverancier publiceert de adressen waarvandaan hij crawlt. Iedereen kan de naam schrijven; alleen het adres bewijst het. De bereiken hier zijn de eigen lijsten van de leveranciers, elke dag opnieuw gedownload, dezelfde waartegen Bot Protection elk verzoek verifieert.
| AI-bot | Leverancier | Waarvoor hij dient | IP-bereiken |
|---|---|---|---|
GPTBot | OpenAI | AI-training | 18 |
OAI-SearchBot | OpenAI | AI-zoeken en -antwoorden | 39 |
ChatGPT-User | OpenAI | AI-zoeken en -antwoorden | 234 |
OAI-AdsBot | OpenAI | AI-zoeken en -antwoorden | 2 |
ClaudeBot | Anthropic | AI-training | 14 |
Claude-User | Anthropic | AI-zoeken en -antwoorden | 14 |
Claude-SearchBot | Anthropic | AI-zoeken en -antwoorden | 14 |
PerplexityBot | Perplexity | AI-zoeken en -antwoorden | 8 |
Perplexity-User | Perplexity | AI-zoeken en -antwoorden | 4 |
CCBot | Common Crawl | AI-training | 5 |
Google-CloudVertexBot | AI-zoeken en -antwoorden | 317 | |
Google-Agent | AI-zoeken en -antwoorden | 20 | |
DuckAssistBot | DuckDuckGo | AI-zoeken en -antwoorden | 486 |
MistralAI-User | Mistral AI | AI-zoeken en -antwoorden | 4 |
MistralAI-Index | Mistral AI | AI-zoeken en -antwoorden | 2 |
AI-trainingscrawlers nemen pagina's om modellen te trainen en sturen niemand terug; crawlers voor AI-zoeken en -antwoorden lezen een pagina voor de zoekopdracht van een AI of voor iemand die het een assistent vroeg. Crawlers waarvan de leverancier geen adressen publiceert, staan er niet bij: hun naam is niet te verifiëren.