Botoverzicht
GPTBot: wat het is, de IP-bereiken en hoe je het blokkeert
GPTBot is de crawler van OpenAI voor AI-training.
| Leverancier | OpenAI |
|---|---|
| Waarvoor hij dient | AI-training |
| In zijn User-Agent | GPTBot |
| Geverifieerd via | Gepubliceerde adressen |
| De adreslijst van de leverancier | https://openai.com/gptbot.json |
| IP-bereiken | 18 |
| Standaard | Blokkeren |
Hij neemt pagina's om AI-modellen te trainen en stuurt niemand terug naar je site. Bot Protection blokkeert hem standaard; je kunt hem doorlaten.
Hoe je hem verifieert
Elke bot kan GPTBot in zijn User-Agent schrijven. Een verzoek is alleen GPTBot als het adres in de hieronder gepubliceerde lijst van OpenAI staat: controleer het adres, niet de naam.
Hoe je hem blokkeert
Met robots.txt vraag je hem weg te blijven:
User-agent: GPTBot Disallow: /
robots.txt is een verzoek, geen blokkade, en kan de echte crawler niet onderscheiden van een bot die zijn naam draagt. Bot Protection verifieert GPTBot bij elk verzoek aan zijn adres en antwoordt zoals je kiest op de pagina Set-up, per soort of alleen voor GPTBot; een bot die alleen de naam draagt, wordt beoordeeld als elke andere bot.
De IP-bereiken
Uit de eigen lijst van OpenAI, elke dag opnieuw gedownload.
IPv4
132.196.86.0/24 172.182.202.0/25 172.182.207.0/25 20.125.66.80/28 20.171.206.0/24 20.171.207.0/24 4.227.36.0/25 52.230.152.0/24 74.7.175.128/25 74.7.227.0/25 74.7.227.128/25 74.7.228.0/25 74.7.230.0/25 74.7.241.0/25 74.7.241.128/25 74.7.242.0/25 74.7.243.128/25 74.7.244.0/25