Korzen
Bot Protection

Directorio de bots

GPTBot: qué es, sus rangos de IP y cómo bloquearlo

GPTBot es el rastreador de OpenAI para entrenamiento de IA.

ProveedorOpenAI
Para qué sirveEntrenamiento de IA
En su User-AgentGPTBot
Verificado porDirecciones publicadas
La lista de direcciones de su proveedorhttps://openai.com/gptbot.json
Rangos de IP18
Por defectoBloquear

Toma páginas para entrenar modelos de IA y no trae a nadie de vuelta a tu sitio. Bot Protection lo bloquea por defecto; puedes permitirlo.

Cómo verificarlo

Cualquier bot puede escribir GPTBot en su User-Agent. Una solicitud es de GPTBot solo cuando su dirección está en la lista publicada por OpenAI de abajo: verifica la dirección, no el nombre.

Cómo bloquearlo

Con robots.txt, le pides que no entre:

User-agent: GPTBot
Disallow: /

robots.txt es una petición, no un bloqueo, y no distingue el rastreador verdadero de un bot que usa su nombre. Bot Protection verifica GPTBot por su dirección en cada solicitud y le responde como elijas en la página Configuración, por tipo o solo para GPTBot; un bot que solo usa el nombre se juzga como cualquier otro bot.

Sus rangos de IP

De la propia lista de OpenAI, descargada de nuevo cada día.

IPv4

132.196.86.0/24
172.182.202.0/25
172.182.207.0/25
20.125.66.80/28
20.171.206.0/24
20.171.207.0/24
4.227.36.0/25
52.230.152.0/24
74.7.175.128/25
74.7.227.0/25
74.7.227.128/25
74.7.228.0/25
74.7.230.0/25
74.7.241.0/25
74.7.241.128/25
74.7.242.0/25
74.7.243.128/25
74.7.244.0/25

Rastreadores de scraping y de entrenamiento de IA