Korzen
Bot Protection

Bots IA

Google-Agent : ce que c'est, ses plages d'IP et comment le bloquer

Google-Agent est le crawler de Google pour Recherche et réponses IA.

ÉditeurGoogle
À quoi il sertRecherche et réponses IA
Dans son User-AgentGoogle-Agent
La liste d'adresses de son éditeurhttps://developers.google.com/static/crawling/ipranges/user-triggered-agents.json
Plages d'IP20

Il lit une page pour la recherche d'une IA ou pour une personne qui l'a demandée à un assistant, et peut amener des visiteurs. Bot Protection le laisse passer par défaut ; vous pouvez le bloquer.

Comment le vérifier

N'importe quel bot peut écrire Google-Agent dans son User-Agent. Une requête est Google-Agent seulement si son adresse est dans la liste publiée par Google ci-dessous : vérifiez l'adresse, pas le nom.

Comment le bloquer

Avec robots.txt, vous lui demandez de rester dehors :

User-agent: Google-Agent
Disallow: /

robots.txt est une demande, pas un blocage, et ne distingue pas le vrai crawler d'un bot qui porte son nom. Bot Protection vérifie Google-Agent par son adresse à chaque requête et lui répond comme vous le choisissez sur la page Configuration, par type ou pour Google-Agent seul ; un bot qui ne fait que porter le nom est jugé comme n'importe quel autre bot.

Ses plages d'IP

D'après la liste de Google, téléchargée à nouveau chaque jour.

IPv4

136.121.16.0/24
136.121.24.0/21
136.121.40.0/21
136.122.0.0/16
74.125.232.0/28
74.125.232.112/28
74.125.232.16/28
74.125.232.32/28
74.125.232.48/28
74.125.232.64/28
74.125.232.80/28
74.125.232.96/28

IPv6

2001:4860:c::/124
2001:4860:c::10/124
2001:4860:c::20/124
2001:4860:c::30/124
2001:4860:c::40/124
2001:4860:c::50/124
2001:4860:c::60/124
2001:4860:c::70/124