KI-Bots
Die KI-Crawler, und wie man die echten erkennt
Jeder KI-Crawler unten nennt sich in seinem User-Agent, und sein Anbieter veröffentlicht die Adressen, von denen er crawlt. Den Namen kann jeder schreiben; nur die Adresse beweist ihn. Die Bereiche hier sind die eigenen Listen der Anbieter, jeden Tag neu heruntergeladen, dieselben, gegen die Bot Protection jede Anfrage verifiziert.
| KI-Bot | Anbieter | Wofür er da ist | IP-Bereiche |
|---|---|---|---|
GPTBot | OpenAI | KI-Training | 18 |
OAI-SearchBot | OpenAI | KI-Suche und -Antworten | 39 |
ChatGPT-User | OpenAI | KI-Suche und -Antworten | 234 |
OAI-AdsBot | OpenAI | KI-Suche und -Antworten | 2 |
ClaudeBot | Anthropic | KI-Training | 14 |
Claude-User | Anthropic | KI-Suche und -Antworten | 14 |
Claude-SearchBot | Anthropic | KI-Suche und -Antworten | 14 |
PerplexityBot | Perplexity | KI-Suche und -Antworten | 8 |
Perplexity-User | Perplexity | KI-Suche und -Antworten | 4 |
CCBot | Common Crawl | KI-Training | 5 |
Google-CloudVertexBot | KI-Suche und -Antworten | 317 | |
Google-Agent | KI-Suche und -Antworten | 20 | |
DuckAssistBot | DuckDuckGo | KI-Suche und -Antworten | 486 |
MistralAI-User | Mistral AI | KI-Suche und -Antworten | 4 |
MistralAI-Index | Mistral AI | KI-Suche und -Antworten | 2 |
KI-Trainings-Crawler nehmen Seiten, um Modelle zu trainieren, und schicken niemanden zurück; Crawler für KI-Suche und -Antworten lesen eine Seite für die Suche einer KI oder für eine Person, die einen Assistenten gefragt hat. Crawler, deren Anbieter keine Adressen veröffentlichen, stehen nicht in der Liste: ihr Name lässt sich nicht verifizieren.