AI ボット
GPTBot: 正体、IP レンジ、ブロックの方法
GPTBot は OpenAI の AI 学習 向けクローラーです。
| ベンダー | OpenAI |
|---|---|
| 用途 | AI 学習 |
| User-Agent 内の名前 | GPTBot |
| ベンダーのアドレスリスト | https://openai.com/gptbot.json |
| IP レンジ | 18 |
AI モデルの学習のためにページを取得し、あなたのサイトに訪問者を送り返しません。Bot Protection は既定でブロックします。通すこともできます。
検証の方法
どのボットでも User-Agent に GPTBot と書けます。リクエストが GPTBot なのは、そのアドレスが下の OpenAI の公開リストにあるときだけです。名前ではなくアドレスを確認してください。
ブロックの方法
robots.txt では、立ち入らないよう依頼します:
User-agent: GPTBot Disallow: /
robots.txt はお願いであってブロックではなく、本物のクローラーと名前を名乗るボットを見分けられません。Bot Protection はすべてのリクエストで GPTBot をアドレスで検証し、セットアップページで選んだとおりに応答します。種類ごとにも、GPTBot だけにも選べます。名前を名乗るだけのボットは、ほかのボットと同じように判定されます。
IP レンジ一覧
OpenAI 自身のリストより。毎日ダウンロードし直しています。
IPv4
132.196.86.0/24 172.182.202.0/25 172.182.207.0/25 20.125.66.80/28 20.171.206.0/24 20.171.207.0/24 4.227.36.0/25 52.230.152.0/24 74.7.175.128/25 74.7.227.0/25 74.7.227.128/25 74.7.228.0/25 74.7.230.0/25 74.7.241.0/25 74.7.241.128/25 74.7.242.0/25 74.7.243.128/25 74.7.244.0/25