OAI-SearchBot: o que é, suas faixas de IP e como bloqueá-lo

Ele lê uma página para a busca de uma IA ou para uma pessoa que pediu a um assistente, e pode trazer visitantes. O Bot Protection o libera por padrão; você pode bloqueá-lo.

Como verificá-lo

Qualquer bot pode escrever OAI-SearchBot no User-Agent. Uma requisição é do OAI-SearchBot só quando o endereço está na lista publicada pela OpenAI abaixo: verifique o endereço, não o nome.

Como bloqueá-lo

Com o robots.txt, você pede que ele fique de fora:

User-agent: OAI-SearchBot
Disallow: /

O robots.txt é um pedido, não um bloqueio, e não distingue o crawler verdadeiro de um bot que usa o nome dele. O Bot Protection verifica o OAI-SearchBot pelo endereço em cada requisição e responde como você escolher na página Configuração, por tipo ou só para o OAI-SearchBot; um bot que apenas usa o nome é julgado como qualquer outro bot.

Suas faixas de IP

Da própria lista da OpenAI, baixada de novo todo dia.

IPv4

104.210.140.128/28
13.66.216.176/28
135.234.64.0/24
172.182.193.224/28
172.182.193.80/28
172.182.194.144/28
172.182.194.32/28
172.182.195.48/28
172.182.209.208/28
172.182.211.192/28
172.182.213.192/28
172.182.224.0/28
172.203.190.112/28
172.203.190.128/28
172.203.190.80/28
20.14.99.96/28
20.168.18.32/28
20.169.6.224/28
20.169.7.48/28
20.169.77.0/25
20.171.123.64/28
20.171.53.224/28
20.25.151.224/28
20.42.10.176/28
23.102.145.48/28
4.227.36.0/25
40.67.175.0/25
40.90.214.16/28
51.8.102.0/24
74.7.175.128/25
74.7.228.0/25
74.7.228.128/25
74.7.229.0/25
74.7.229.128/25
74.7.230.0/25
74.7.241.128/25
74.7.242.128/25
74.7.243.0/25
74.7.244.0/25