CloudflareがPerplexityを秘密のウェブクローリングで告発

インターネットインフラ大手CloudflareとAI検索エンジンPerplexityの間のデジタルな戦いは激化しており、CloudflareはPerplexityが明示的なブロックにもかかわらず、密かにウェブサイトをクローリングしていると公に非難しています。このエスカレートする紛争は、データスクレイピングの倫理と人工知能時代のインターネットの進化するルールに関する高まる緊張を浮き彫りにしています。

この衝突は2025年8月4日に勃発しました。Cloudflareは、Perplexityが確立されたウェブ標準に違反していると主張する詳細なブログ記事を公開しました。Cloudflareの調査は顧客からの苦情によって促されたもので、ウェブサイトの所有者は、robots.txtファイルやウェブアプリケーションファイアウォール（WAFs）を通じてAIサービスの公式クローラーである「PerplexityBot」および「Perplexity-User」を明示的にブロックした後でも、Perplexityが彼らのコンテンツにアクセスしていることを観察しました。

Cloudflareは、Perplexityがこれらの制限を回避するために「二段構えのアプローチ」を採用していると主張しています。宣言されたボットがブロックされると、同社は未宣言のクローラーを展開し、未公開のIPアドレスをローテーションさせ、ソースの自律システム（ASN）を変更することで、macOS上のChromeのような標準的なウェブブラウザになりすましているとされています。Cloudflareは、厳格なrobots.txtとファイアウォールルールを持つ新しい未インデックスドメインで制御された実験を実施し、Perplexityがこれらの制限の背後にある秘密のコンテンツを依然として要約できることを発見しました。Cloudflareの報告によると、この「ステルスクローリング」の挙動は、数万のドメインと1日あたり数百万のリクエストで観察されました。

これに対し、Perplexityは8月5日にCloudflareの告発を強く反論し、その技術分析を「根本的に不適切」で「不適格」と呼びました。Perplexityは、Cloudflareが自社の技術を誤解していると主張し、そのシステムは、従来のLSI（大規模統合）ウェブボットではなく、特定のユーザーのクエリに対してリアルタイムで情報を取得する「ユーザー駆動型AIエージェント」で動作していると断言しました。同社は、ユーザーが現在の情報を要求すると、AIが関連するウェブサイトにアクセスし、コンテンツを読み取り、特定の質問に合わせた要約を提供し、トレーニングのためにデータを保存することはないと述べました。Perplexityはまた、CloudflareがサードパーティサービスであるBrowserBaseからの自動トラフィックを自社のシステムに誤って帰属させていると非難し、このサービスは時折使用するだけで、一般的なウェブスクレイピングには使用していないと主張しました。

この紛争は、AI時代における重要な区別と、増大する倫理的難題を浮き彫りにしています。つまり、ユーザーに代わってウェブサイトにアクセスするAIエージェントはどのように扱われるべきかという点です。CloudflareのCEO、Matthew Princeは、AIモデルが出版社に与える潜在的な「存在論的脅威」について声高に主張しており、AIスクレイピングが帯域幅を消費しながらも参照トラフィックや収益を生み出さないことで、コンテンツクリエイターのビジネスモデルを損なう可能性があると論じています。Cloudflareはその後、Perplexityを「検証済みボット」プログラムから削除し、そのネットワーク全体で疑わしいステルスクローリングをブロックするための新しい措置を導入しました。

この論争は、AIのデータ収集慣行、コンテンツの同意、知的財産に関するより広範な議論を浮き彫りにしています。従来の検索エンジンは歴史的にユーザーを元のソースに戻していましたが、AI検索エンジンはコンテンツを直接要約することが多く、出版社にとって参照トラフィックの著しい減少につながっています。これにより、ウェブサイトの所有者はジレンマに陥ります。AIクローラーをブロックして可視性を失うリスクを冒すか、それらを許可して、コンテンツから利益を得ながらも報酬を支払わない競合他社を潜在的に補助するかです。これはPerplexityにとって初めての告発ではありません。同社は以前にもWiredなどのメディアから盗作の申し立てを受けており、現在、ダウ・ジョーンズとの訴訟、およびBBCからのコンテンツスクレイピングに関する法的措置の脅威に直面しています。

CloudflareとPerplexityの間で続く衝突は、膨大なデータセットを求めるAI企業と、自らのデジタル資産を管理しようと奮闘するコンテンツクリエイターとの間で激化する技術的および倫理的な軍拡競争を例示しており、ウェブインタラクションとデータアクセス規範の未来を定義する上で極めて重要な瞬間を示しています。