Bots de IA
GPTBot: o que é, suas faixas de IP e como bloqueá-lo
GPTBot é o crawler da OpenAI para Treinamento de IA.
| Fornecedor | OpenAI |
|---|---|
| Para que serve | Treinamento de IA |
| No User-Agent | GPTBot |
| A lista de endereços do fornecedor | https://openai.com/gptbot.json |
| Faixas de IP | 18 |
Ele leva páginas para treinar modelos de IA e não traz ninguém de volta ao seu site. O Bot Protection o bloqueia por padrão; você pode liberá-lo.
Como verificá-lo
Qualquer bot pode escrever GPTBot no User-Agent. Uma requisição é do GPTBot só quando o endereço está na lista publicada pela OpenAI abaixo: verifique o endereço, não o nome.
Como bloqueá-lo
Com o robots.txt, você pede que ele fique de fora:
User-agent: GPTBot Disallow: /
O robots.txt é um pedido, não um bloqueio, e não distingue o crawler verdadeiro de um bot que usa o nome dele. O Bot Protection verifica o GPTBot pelo endereço em cada requisição e responde como você escolher na página Configuração, por tipo ou só para o GPTBot; um bot que apenas usa o nome é julgado como qualquer outro bot.
Suas faixas de IP
Da própria lista da OpenAI, baixada de novo todo dia.
IPv4
132.196.86.0/24 172.182.202.0/25 172.182.207.0/25 20.125.66.80/28 20.171.206.0/24 20.171.207.0/24 4.227.36.0/25 52.230.152.0/24 74.7.175.128/25 74.7.227.0/25 74.7.227.128/25 74.7.228.0/25 74.7.230.0/25 74.7.241.0/25 74.7.241.128/25 74.7.242.0/25 74.7.243.128/25 74.7.244.0/25