AIエージェント戦争:Cloudflare対Perplexityがウェブ経済を再定義
デジタルフロンティアは再び戦場となり、今回はインターネットインフラの巨人と人工知能の新興勢力が対峙しています。ウェブの大部分を保護する企業Cloudflareは、AIを搭載した検索エンジンPerplexity AIが、ウェブサイト所有者のデータ収集ブロックの明確な指示を回避するために「隠密な戦術」を使用していると非難し、明確な一線を引きました。このエスカレートする紛争は単なる企業間の争いにとどまらず、ウェブの経済とデジタルコンテンツ所有権の本質を根本的に再定義する可能性のある極めて重要な瞬間を表しています。
紛争の中心で、CloudflareはPerplexity AIが未申告かつ偽装されたウェブクローラーを使用し、数万のドメインからコンテンツにアクセスし、毎日数百万のリクエストを生成していると主張しています。これは、それらのサイトがrobots.txt
ファイルやその他のブロックメカニズムを通じてAIボットを歓迎しないことを明確に示している場合でもです。Cloudflareの調査によると、Perplexityのボットはユーザーエージェント識別子を変更してmacOS上のGoogle Chromeなどの一般的なウェブブラウザになりすまし、自律システム番号(ASNs)をローテーションして検出を回避したとのことです。Cloudflareは、この行為が、robots.txt
がボットの敬意ある行動の信号として機能するインターネットの長年の「紳士協定」を損なうと断言しています。
Cloudflareの姿勢は、コンテンツクリエイターやパブリッシャーを支援するためのより広範なイニシアチブに根ざしています。2025年7月、同社はネットワーク上の新規ドメインに対してほとんどのAIクローラーをデフォルトでブロックするポリシーに変更しました。これは、コンテンツ制作者を無許可のデータ収集から保護するために設計された動きです。彼らはまた、「Pay Per Crawl」(クロールごとの支払い)マーケットプレイスを立ち上げ、パブリッシャーがAI企業にコンテンツへの正当なアクセス料を請求できるようにし、デジタル領域の新しい経済モデルを示唆しています。Cloudflare CEOのMatthew Princeは、AIモデルが補償なしにコンテンツを消費する場合、リファラートラフィックの減少や広告収入の低下に直面するパブリッシャーにとって、無制限のAIスクレイピングが「存続の危機」をもたらすと懸念を表明しています。すでに、Cloudflareを利用している250万以上のウェブサイトがAIトレーニングクローラーをブロックすることを選択しています。
一方、Perplexity AIは一切の不正行為を強く否定し、Cloudflareの主張を「恥ずべき」「資格なし」「単なるセールストーク」と一蹴しています。同社は、Cloudflareが現代のAIアシスタントの運用性質を根本的に誤解していると主張しています。Perplexityは、そのボットが特定のユーザーのクエリに応答して動的にコンテンツを取得する「ユーザー駆動型エージェント」であり、トレーニングデータのためにウェブを無差別にクロールしているわけではないと主張しています。彼らは、人間がコンテンツにアクセスできるのであれば、そのユーザーに代わって行動するボットもアクセスできるべきだと主張しています。Perplexityはまた、Cloudflareの分析における技術的な誤り、例えばサードパーティサービスからのトラフィックの誤った帰属なども指摘しています。これは、Perplexityがそのデータ取得方法について精査されるのは今回が初めてではありません。同社は以前、WiredやBBCなどのメディアから非倫理的なウェブスクレイピングや盗作で非難されたことがあります。
CloudflareとPerplexityのこの衝突は、デジタルエコシステムで生じている重要な緊張関係を浮き彫りにしています。インターネット上の膨大なデータの海は誰のものなのか、そしてAIはそれにどのように相互作用すべきか?自律的にウェブをナビゲートし、従来の人間の関与なしに情報を抽出できる高度なAIエージェントの台頭は、長年にわたりインターネットを支えてきた広告駆動型およびエンゲージメント駆動型の経済モデルを混乱させる恐れがあります。AIモデルがリアルタイム情報への依存度を高めるにつれて、正当なウェブクロールと無許可のデータ収集の間の伝統的な境界線は曖昧になっています。この「AIエージェント戦争」の結果は、AIアクセスに関する新しいプロトコルを形成し、新しい法的枠組みの開発に影響を与え、最終的にはますますAIが媒介する世界におけるコンテンツクリエイターの将来の経済的実現可能性を決定するでしょう。