Korzen

ブログ

AI エージェントと LLM スクレイパー:何を通し、どこで確認するか

AI クローラーはページを読み、AI エージェントは本物のブラウザでフォームに入力するようになりました。どれを歓迎し、どれを止めるか。そしてなぜ確認はページではなくアクションで行うのか。

いまサイトには 2 種類の AI トラフィックが届きます。LLM クローラーは、モデルの学習のため、あるいは誰かがチャットボットにした質問に答えるためにページを読みます。AI エージェントはさらに踏み込み、モデルが本物のブラウザを操作して、誰かの代わりにクリックし、入力し、フォームを送信します。両者が投げかける問いは異なり、それぞれ答えるのに適した場所も異なります。

LLM クローラー:エッジで決める

クローラーはページを読みます。大手のほとんどは User-Agent で名乗り、robots.txt に従うので、何を読んでよいかを示す最初の場所はこのファイルです。無視するクローラーには CDN で強制でき、CDN によっては AI クローラーを独自にブロックしたり課金したりします。ペイウォールの奥の記事や価格表など、販売しているコンテンツにはもう一段の対策が必要です。メディアの事例はニュースサイト向けの bot 対策にあります。

Bot Protection はクローラーのリストを持たず、その必要もありません。問い合わせを受けるのはアクションについてであり、ページの閲覧についてではないからです。

AI エージェント:アクションで決める

予約、サインアップ、購入をするエージェントは、顧客と同じフォームを使います。その一部は歓迎すべきもの、たとえばアシスタントに買い物を任せる人です。一部は、運転手が変わっただけのいつもの悪用で、アカウントを作り、無料トライアルを集め、大量にパスワードを試します。ページの閲覧からはほとんど何も分かりません。問いが重要になるのはサインアップ、ログイン、チェックアウトなので、そこで確認します。

  • サインアップと無料トライアル:ループでアカウントを作るエージェントは、誰が操作していてもサインアップ bot です。bot には無料クレジットを保留しましょう。無料トライアルの悪用も参照してください。
  • ログイン:bot には 2 要素目を求めます。実際の顧客のために動くアシスタントは顧客と一緒に通過できますが、リスト型攻撃(credential stuffing)の攻撃者は通過できません。
  • チェックアウト:数量限定の在庫を買う自動化やカードを試す自動化は、運転しているのがモデルでもスクリプトでも、bot_high で拒否されます。

操作されたブラウザを見抜く手がかり

現在のエージェントの多くは、Playwright や DevTools プロトコルで Chrome を操作します。スクレイパーが使うのと同じツールです。モデルの判断がどれほど人間らしくても、ブラウザは操作のされ方を隠せません。

  • 入力の届き方。直前にマウスの動きがないクリック、数ミリ秒で離されるキー、キーが押されないまま挿入されるテキスト。
  • ブラウザそのもの。自動化のフラグ、ソフトウェア GPU、ブラウザ自身の client hints と食い違う User-Agent。
  • パターン。少数のパスへの多数のリクエスト、新しいセッションの連続、多数のネットワークの背後にある 1 台の端末。

2026 年 10 月の自社テストで、単純なスクリプトから stealth フラグ付きの Playwright、DevTools プロトコルで操作する本物の Chrome まで、15 の自動化ツールすべてを検出しました。ログインフォームでの判定の大半が bot または bot_high でした。

良いエージェントは意図して通す

エージェントに購入してほしいなら、エージェント向けの入口を用意しましょう。API や、エージェントの背後にいる人が通過できる step-up(パスキーなど)です。Bot Protection は証拠が両方向を指すときに step_up を返します。また monitor mode なら、何かをブロックする前に、トラフィックのどれだけが自動化されているかを確認できます。