AI-bots
GPTBot: wat het is, de IP-bereiken en hoe u het blokkeert
GPTBot is de crawler van OpenAI voor AI-training.
| Leverancier | OpenAI |
|---|---|
| Waarvoor hij dient | AI-training |
| In zijn User-Agent | GPTBot |
| De adreslijst van de leverancier | https://openai.com/gptbot.json |
| IP-bereiken | 18 |
Hij neemt pagina's om AI-modellen te trainen en stuurt niemand terug naar uw site. Bot Protection blokkeert hem standaard; u kunt hem doorlaten.
Hoe u hem verifieert
Elke bot kan GPTBot in zijn User-Agent schrijven. Een verzoek is alleen GPTBot als het adres in de hieronder gepubliceerde lijst van OpenAI staat: controleer het adres, niet de naam.
Hoe u hem blokkeert
Met robots.txt vraagt u hem weg te blijven:
User-agent: GPTBot Disallow: /
robots.txt is een verzoek, geen blokkade, en kan de echte crawler niet onderscheiden van een bot die zijn naam draagt. Bot Protection verifieert GPTBot bij elk verzoek aan zijn adres en antwoordt zoals u kiest op de pagina Set-up, per soort of alleen voor GPTBot; een bot die alleen de naam draagt, wordt beoordeeld als elke andere bot.
De IP-bereiken
Uit de eigen lijst van OpenAI, elke dag opnieuw gedownload.
IPv4
132.196.86.0/24 172.182.202.0/25 172.182.207.0/25 20.125.66.80/28 20.171.206.0/24 20.171.207.0/24 4.227.36.0/25 52.230.152.0/24 74.7.175.128/25 74.7.227.0/25 74.7.227.128/25 74.7.228.0/25 74.7.230.0/25 74.7.241.0/25 74.7.241.128/25 74.7.242.0/25 74.7.243.128/25 74.7.244.0/25