Korzen
Bot Protection

KI-Bots

GPTBot: was es ist, seine IP-Bereiche und wie man es blockiert

GPTBot ist der Crawler von OpenAI für KI-Training.

AnbieterOpenAI
Wofür er da istKI-Training
In seinem User-AgentGPTBot
Die Adressliste seines Anbietershttps://openai.com/gptbot.json
IP-Bereiche18

Er nimmt Seiten, um KI-Modelle zu trainieren, und schickt niemanden auf Ihre Website zurück. Bot Protection blockiert ihn standardmäßig; Sie können ihn durchlassen.

Wie man ihn verifiziert

Jeder Bot kann GPTBot in seinen User-Agent schreiben. Eine Anfrage ist nur dann GPTBot, wenn ihre Adresse in der unten veröffentlichten Liste von OpenAI steht: Prüfen Sie die Adresse, nicht den Namen.

Wie man ihn blockiert

Mit robots.txt bitten Sie ihn, draußen zu bleiben:

User-agent: GPTBot
Disallow: /

robots.txt ist eine Bitte, keine Sperre, und unterscheidet den echten Crawler nicht von einem Bot mit seinem Namen. Bot Protection verifiziert GPTBot bei jeder Anfrage über seine Adresse und antwortet ihm, wie Sie es auf der Seite Einrichtung wählen, pro Art oder nur für GPTBot; ein Bot, der nur den Namen trägt, wird wie jeder andere Bot beurteilt.

Seine IP-Bereiche

Aus der eigenen Liste von OpenAI, jeden Tag neu heruntergeladen.

IPv4

132.196.86.0/24
172.182.202.0/25
172.182.207.0/25
20.125.66.80/28
20.171.206.0/24
20.171.207.0/24
4.227.36.0/25
52.230.152.0/24
74.7.175.128/25
74.7.227.0/25
74.7.227.128/25
74.7.228.0/25
74.7.230.0/25
74.7.241.0/25
74.7.241.128/25
74.7.242.0/25
74.7.243.128/25
74.7.244.0/25