Bots de IA
Google-Agent: qué es, sus rangos de IP y cómo bloquearlo
Google-Agent es el crawler de Google para Búsqueda y respuestas con IA.
| Proveedor | |
|---|---|
| Para qué sirve | Búsqueda y respuestas con IA |
| En su User-Agent | Google-Agent |
| La lista de direcciones de su proveedor | https://developers.google.com/static/crawling/ipranges/user-triggered-agents.json |
| Rangos de IP | 20 |
Lee una página para la búsqueda de una IA o para una persona que se lo pidió a un asistente, y puede traer visitantes. Bot Protection lo deja pasar por defecto; puedes bloquearlo.
Cómo verificarlo
Cualquier bot puede escribir Google-Agent en su User-Agent. Una solicitud es de Google-Agent solo cuando su dirección está en la lista publicada por Google de abajo: verifica la dirección, no el nombre.
Cómo bloquearlo
Con robots.txt, le pides que no entre:
User-agent: Google-Agent Disallow: /
robots.txt es una petición, no un bloqueo, y no distingue el crawler verdadero de un bot que usa su nombre. Bot Protection verifica Google-Agent por su dirección en cada solicitud y le responde como elijas en la página Configuración, por tipo o solo para Google-Agent; un bot que solo usa el nombre se juzga como cualquier otro bot.
Sus rangos de IP
De la propia lista de Google, descargada de nuevo cada día.
IPv4
136.121.16.0/24 136.121.24.0/21 136.121.40.0/21 136.122.0.0/16 74.125.232.0/28 74.125.232.112/28 74.125.232.16/28 74.125.232.32/28 74.125.232.48/28 74.125.232.64/28 74.125.232.80/28 74.125.232.96/28
IPv6
2001:4860:c::/124 2001:4860:c::10/124 2001:4860:c::20/124 2001:4860:c::30/124 2001:4860:c::40/124 2001:4860:c::50/124 2001:4860:c::60/124 2001:4860:c::70/124