Bots de IA
Google-Agent: o que é, suas faixas de IP e como bloqueá-lo
Google-Agent é o crawler da Google para Busca e respostas com IA.
| Fornecedor | |
|---|---|
| Para que serve | Busca e respostas com IA |
| No User-Agent | Google-Agent |
| A lista de endereços do fornecedor | https://developers.google.com/static/crawling/ipranges/user-triggered-agents.json |
| Faixas de IP | 20 |
Ele lê uma página para a busca de uma IA ou para uma pessoa que pediu a um assistente, e pode trazer visitantes. O Bot Protection o libera por padrão; você pode bloqueá-lo.
Como verificá-lo
Qualquer bot pode escrever Google-Agent no User-Agent. Uma requisição é do Google-Agent só quando o endereço está na lista publicada pela Google abaixo: verifique o endereço, não o nome.
Como bloqueá-lo
Com o robots.txt, você pede que ele fique de fora:
User-agent: Google-Agent Disallow: /
O robots.txt é um pedido, não um bloqueio, e não distingue o crawler verdadeiro de um bot que usa o nome dele. O Bot Protection verifica o Google-Agent pelo endereço em cada requisição e responde como você escolher na página Configuração, por tipo ou só para o Google-Agent; um bot que apenas usa o nome é julgado como qualquer outro bot.
Suas faixas de IP
Da própria lista da Google, baixada de novo todo dia.
IPv4
136.121.16.0/24 136.121.24.0/21 136.121.40.0/21 136.122.0.0/16 74.125.232.0/28 74.125.232.112/28 74.125.232.16/28 74.125.232.32/28 74.125.232.48/28 74.125.232.64/28 74.125.232.80/28 74.125.232.96/28
IPv6
2001:4860:c::/124 2001:4860:c::10/124 2001:4860:c::20/124 2001:4860:c::30/124 2001:4860:c::40/124 2001:4860:c::50/124 2001:4860:c::60/124 2001:4860:c::70/124