Bots IA

GPTBot : ce que c'est, ses plages d'IP et comment le bloquer

GPTBot est le crawler de OpenAI pour Entraînement IA.

Éditeur	OpenAI
À quoi il sert	Entraînement IA
Dans son User-Agent	`GPTBot`
La liste d'adresses de son éditeur	`https://openai.com/gptbot.json`
Plages d'IP	18

Il prend des pages pour entraîner des modèles d'IA et ne renvoie personne vers votre site. Bot Protection le bloque par défaut ; vous pouvez le laisser passer.

Comment le vérifier

N'importe quel bot peut écrire GPTBot dans son User-Agent. Une requête est GPTBot seulement si son adresse est dans la liste publiée par OpenAI ci-dessous : vérifiez l'adresse, pas le nom.

Vérifier une adresse

Comment le bloquer

Avec robots.txt, vous lui demandez de rester dehors :

User-agent: GPTBot
Disallow: /

robots.txt est une demande, pas un blocage, et ne distingue pas le vrai crawler d'un bot qui porte son nom. Bot Protection vérifie GPTBot par son adresse à chaque requête et lui répond comme vous le choisissez sur la page Configuration, par type ou pour GPTBot seul ; un bot qui ne fait que porter le nom est jugé comme n'importe quel autre bot.

Commencer l'essai gratuit Tous les bots IA

Ses plages d'IP

D'après la liste de OpenAI, téléchargée à nouveau chaque jour.

IPv4

132.196.86.0/24
172.182.202.0/25
172.182.207.0/25
20.125.66.80/28
20.171.206.0/24
20.171.207.0/24
4.227.36.0/25
52.230.152.0/24
74.7.175.128/25
74.7.227.0/25
74.7.227.128/25
74.7.228.0/25
74.7.230.0/25
74.7.241.0/25
74.7.241.128/25
74.7.242.0/25
74.7.243.128/25
74.7.244.0/25