Korzen
Bot Protection

KI-Bots

Google-Agent: was es ist, seine IP-Bereiche und wie man es blockiert

Google-Agent ist der Crawler von Google für KI-Suche und -Antworten.

AnbieterGoogle
Wofür er da istKI-Suche und -Antworten
In seinem User-AgentGoogle-Agent
Die Adressliste seines Anbietershttps://developers.google.com/static/crawling/ipranges/user-triggered-agents.json
IP-Bereiche20

Er liest eine Seite für die Suche einer KI oder für eine Person, die einen Assistenten gefragt hat, und kann Besucher bringen. Bot Protection lässt ihn standardmäßig durch; Sie können ihn blockieren.

Wie man ihn verifiziert

Jeder Bot kann Google-Agent in seinen User-Agent schreiben. Eine Anfrage ist nur dann Google-Agent, wenn ihre Adresse in der unten veröffentlichten Liste von Google steht: Prüfen Sie die Adresse, nicht den Namen.

Wie man ihn blockiert

Mit robots.txt bitten Sie ihn, draußen zu bleiben:

User-agent: Google-Agent
Disallow: /

robots.txt ist eine Bitte, keine Sperre, und unterscheidet den echten Crawler nicht von einem Bot mit seinem Namen. Bot Protection verifiziert Google-Agent bei jeder Anfrage über seine Adresse und antwortet ihm, wie Sie es auf der Seite Einrichtung wählen, pro Art oder nur für Google-Agent; ein Bot, der nur den Namen trägt, wird wie jeder andere Bot beurteilt.

Seine IP-Bereiche

Aus der eigenen Liste von Google, jeden Tag neu heruntergeladen.

IPv4

136.121.16.0/24
136.121.24.0/21
136.121.40.0/21
136.122.0.0/16
74.125.232.0/28
74.125.232.112/28
74.125.232.16/28
74.125.232.32/28
74.125.232.48/28
74.125.232.64/28
74.125.232.80/28
74.125.232.96/28

IPv6

2001:4860:c::/124
2001:4860:c::10/124
2001:4860:c::20/124
2001:4860:c::30/124
2001:4860:c::40/124
2001:4860:c::50/124
2001:4860:c::60/124
2001:4860:c::70/124