Korzen
Bot Protection

AI ボット

GPTBot: 正体、IP レンジ、ブロックの方法

GPTBot は OpenAI の AI 学習 向けクローラーです。

ベンダーOpenAI
用途AI 学習
User-Agent 内の名前GPTBot
ベンダーのアドレスリストhttps://openai.com/gptbot.json
IP レンジ18

AI モデルの学習のためにページを取得し、あなたのサイトに訪問者を送り返しません。Bot Protection は既定でブロックします。通すこともできます。

検証の方法

どのボットでも User-Agent に GPTBot と書けます。リクエストが GPTBot なのは、そのアドレスが下の OpenAI の公開リストにあるときだけです。名前ではなくアドレスを確認してください。

ブロックの方法

robots.txt では、立ち入らないよう依頼します:

User-agent: GPTBot
Disallow: /

robots.txt はお願いであってブロックではなく、本物のクローラーと名前を名乗るボットを見分けられません。Bot Protection はすべてのリクエストで GPTBot をアドレスで検証し、セットアップページで選んだとおりに応答します。種類ごとにも、GPTBot だけにも選べます。名前を名乗るだけのボットは、ほかのボットと同じように判定されます。

IP レンジ一覧

OpenAI 自身のリストより。毎日ダウンロードし直しています。

IPv4

132.196.86.0/24
172.182.202.0/25
172.182.207.0/25
20.125.66.80/28
20.171.206.0/24
20.171.207.0/24
4.227.36.0/25
52.230.152.0/24
74.7.175.128/25
74.7.227.0/25
74.7.227.128/25
74.7.228.0/25
74.7.230.0/25
74.7.241.0/25
74.7.241.128/25
74.7.242.0/25
74.7.243.128/25
74.7.244.0/25