編集部の商品は文章であり、文章は Web 上で最もコピーしやすいものです。スクレイパーは数分以内に記事を転載し、AI クローラーはアーカイブを丸ごと持ち去り、ペイウォールをかいくぐる bot は無料で記事を読みます。その間も、出版社は配信するページ 1 枚ごとに費用を払っています。
bot が出版社にすること
- スクレイピングと転載。記事がコピーサイトに掲載され、ときには元の記事より検索順位が上になります。
- AI のためのクロール。名乗ったうえで
robots.txtを守るクローラーもありますが、多くはそうせず、ブラウザを装うこともあります。 - ペイウォールの回避。メーターをリセットしたり、ページのソースから記事を読み取ったりするスクリプトです。
- 広告トラフィックの水増し。bot によるページビューは、最終的に広告主から割り引かれたり、サイトの広告アカウントを危険にさらしたりします。
- コメントとサインアップの悪用。スパムや、無料トライアル目当ての偽アカウントです。
読者、歓迎するクローラー、それ以外
すべての bot が悪いわけではありません。検索エンジンは読者を連れてきます。問題は、どの自動化トラフィックを自分で招いたかです。招きたいクローラー、つまり検索エンジンやライセンスを与えた AI クローラーは robots.txt で指定し、サーバーや CDN が問い合わせの前に通します。それ以外は、スクレイピングツールやスクリプトで操作されたブラウザなど、Bot Protection が見える情報から判定します。詳しくはAI エージェントと LLM スクレイパーをご覧ください。
どこで確認するか
- メーター制・有料コンテンツの記事ページ：
bot_highにはリード文だけを返します。botはすぐにメーターにカウントします。 - アーカイブと API：
bot_highは遅延させるか拒否します。 - コメントとニュースレターの登録：
bot_highは拒否し、botはレビューのため保留します。
重要なページでだけ確認すればコストを抑えられます。トップページやセクションページは誰にでも開いたままで構いません。