Bots IA
Google-Agent : ce que c'est, ses plages d'IP et comment le bloquer
Google-Agent est le crawler de Google pour Recherche et réponses IA.
| Éditeur | |
|---|---|
| À quoi il sert | Recherche et réponses IA |
| Dans son User-Agent | Google-Agent |
| La liste d'adresses de son éditeur | https://developers.google.com/static/crawling/ipranges/user-triggered-agents.json |
| Plages d'IP | 20 |
Il lit une page pour la recherche d'une IA ou pour une personne qui l'a demandée à un assistant, et peut amener des visiteurs. Bot Protection le laisse passer par défaut ; vous pouvez le bloquer.
Comment le vérifier
N'importe quel bot peut écrire Google-Agent dans son User-Agent. Une requête est Google-Agent seulement si son adresse est dans la liste publiée par Google ci-dessous : vérifiez l'adresse, pas le nom.
Comment le bloquer
Avec robots.txt, vous lui demandez de rester dehors :
User-agent: Google-Agent Disallow: /
robots.txt est une demande, pas un blocage, et ne distingue pas le vrai crawler d'un bot qui porte son nom. Bot Protection vérifie Google-Agent par son adresse à chaque requête et lui répond comme vous le choisissez sur la page Configuration, par type ou pour Google-Agent seul ; un bot qui ne fait que porter le nom est jugé comme n'importe quel autre bot.
Ses plages d'IP
D'après la liste de Google, téléchargée à nouveau chaque jour.
IPv4
136.121.16.0/24 136.121.24.0/21 136.121.40.0/21 136.122.0.0/16 74.125.232.0/28 74.125.232.112/28 74.125.232.16/28 74.125.232.32/28 74.125.232.48/28 74.125.232.64/28 74.125.232.80/28 74.125.232.96/28
IPv6
2001:4860:c::/124 2001:4860:c::10/124 2001:4860:c::20/124 2001:4860:c::30/124 2001:4860:c::40/124 2001:4860:c::50/124 2001:4860:c::60/124 2001:4860:c::70/124