KI-Bots
GPTBot: was es ist, seine IP-Bereiche und wie man es blockiert
GPTBot ist der Crawler von OpenAI für KI-Training.
| Anbieter | OpenAI |
|---|---|
| Wofür er da ist | KI-Training |
| In seinem User-Agent | GPTBot |
| Die Adressliste seines Anbieters | https://openai.com/gptbot.json |
| IP-Bereiche | 18 |
Er nimmt Seiten, um KI-Modelle zu trainieren, und schickt niemanden auf Ihre Website zurück. Bot Protection blockiert ihn standardmäßig; Sie können ihn durchlassen.
Wie man ihn verifiziert
Jeder Bot kann GPTBot in seinen User-Agent schreiben. Eine Anfrage ist nur dann GPTBot, wenn ihre Adresse in der unten veröffentlichten Liste von OpenAI steht: Prüfen Sie die Adresse, nicht den Namen.
Wie man ihn blockiert
Mit robots.txt bitten Sie ihn, draußen zu bleiben:
User-agent: GPTBot Disallow: /
robots.txt ist eine Bitte, keine Sperre, und unterscheidet den echten Crawler nicht von einem Bot mit seinem Namen. Bot Protection verifiziert GPTBot bei jeder Anfrage über seine Adresse und antwortet ihm, wie Sie es auf der Seite Einrichtung wählen, pro Art oder nur für GPTBot; ein Bot, der nur den Namen trägt, wird wie jeder andere Bot beurteilt.
Seine IP-Bereiche
Aus der eigenen Liste von OpenAI, jeden Tag neu heruntergeladen.
IPv4
132.196.86.0/24 172.182.202.0/25 172.182.207.0/25 20.125.66.80/28 20.171.206.0/24 20.171.207.0/24 4.227.36.0/25 52.230.152.0/24 74.7.175.128/25 74.7.227.0/25 74.7.227.128/25 74.7.228.0/25 74.7.230.0/25 74.7.241.0/25 74.7.241.128/25 74.7.242.0/25 74.7.243.128/25 74.7.244.0/25