AI ボット

CCBot: 正体、IP レンジ、ブロックの方法

CCBot は Common Crawl の AI 学習向けクローラーです。

ベンダー	Common Crawl
用途	AI 学習
User-Agent 内の名前	`CCBot`
ベンダーのアドレスリスト	`https://index.commoncrawl.org/ccbot.json`
IP レンジ	5

AI モデルの学習のためにページを取得し、あなたのサイトに訪問者を送り返しません。Bot Protection は既定でブロックします。通すこともできます。

検証の方法

どのボットでも User-Agent に CCBot と書けます。リクエストが CCBot なのは、そのアドレスが下の Common Crawl の公開リストにあるときだけです。名前ではなくアドレスを確認してください。

アドレスを確認

ブロックの方法

robots.txt では、立ち入らないよう依頼します:

User-agent: CCBot
Disallow: /

robots.txt はお願いであってブロックではなく、本物のクローラーと名前を名乗るボットを見分けられません。Bot Protection はすべてのリクエストで CCBot をアドレスで検証し、セットアップページで選んだとおりに応答します。種類ごとにも、CCBot だけにも選べます。名前を名乗るだけのボットは、ほかのボットと同じように判定されます。

無料トライアルを開始すべての AI ボット

IP レンジ一覧

Common Crawl 自身のリストより。毎日ダウンロードし直しています。

IPv4

3.41.188.32/29
18.97.9.168/29
18.97.14.80/29
18.97.14.88/30

IPv6

2600:1f28:365:8000::/56