Cloudflare、PerplexityをAI隠密スクレイピングで告発

急速にエスカレートする紛争において、インターネットインフラ大手Cloudflareは、AI検索エンジンPerplexityがウェブサイトの制限を回避しコンテンツをスクレイピングするために「隠密クロール」戦術を採用していると公に非難しました。Cloudflareが2025年8月5日月曜日に公開した調査報告書で詳述されたこれらの疑惑は、AIデータ収集の倫理と、コンテンツクリエイターが自身のデジタル資産を管理する権利について新たな議論を巻き起こしました。

Cloudflareの主張は、多数の顧客が、robots.txtファイルや他のネットワークレベルのルールによる明示的なブロックにもかかわらず、PerplexityのAIボットが依然として自身のウェブサイトにアクセスしていると報告した後に開始された調査に端を発しています。Cloudflareによると、Perplexityのクローラーは、当初は「PerplexityBot」のような標準的なユーザーエージェントで自身を識別していましたが、ネットワークブロックに直面すると、その身元を隠蔽し、ウェブサイトの設定を回避しようと試みたとされています。

主張される戦術には、macOS上のGoogle Chromeのような正規のブラウザになりすますこと、およびIPアドレスと自律システム番号（ASNs）をローテーションして検出を回避することが含まれます。Cloudflareの研究者は、この活動を「数万のドメインと1日あたり数百万のリクエスト」にわたって観察しており、Perplexityが公式に宣言しているIP範囲外で動作していました。その発見を裏付けるため、Cloudflareはボットアクセスを拒否するように設定されたテストドメインさえ作成しましたが、Perplexityのクローラーは依然としてアクセスし、そこから情報を取得できたと報告されています。CloudflareのCEOマシュー・プリンスは、Perplexityの主張される行動を「北朝鮮のハッカー」のそれに例えるほどでした。その発見に応じ、CloudflareはPerplexityを検証済みボットのリストから削除し、そのネットワーク全体でこのような隠密クロールを検出およびブロックするための新しい管理ルールヒューリスティクスを実装しました。

しかし、Perplexityはこれらの告発を強く否定し、Cloudflareの報告を「営業トーク」として一蹴しました。Perplexityの広報担当者ジェシー・ドワイヤーは、Cloudflareが特定したボットは同社とは関係がなく、Cloudflareが提供したスクリーンショットは実際のコンテンツアクセスを証明するものではないと主張しました。Perplexityは、Cloudflareが現代のAIアシスタントの運用モデルを根本的に誤解していると主張しています。AIスタートアップは、そのプラットフォームは「ユーザー駆動型エージェント」に依存しており、ユーザーがリアルタイム情報を必要とする特定の質問をした場合にのみコンテンツを取得すると述べ、取得されたデータはAIモデルのトレーニングには保存も使用もされないことを強調しました。さらに、PerplexityはCloudflareが、サードパーティサービスであるBrowserBaseからの自動トラフィックを自社のシステムに誤って帰属させたと非難し、これを「基本的なトラフィック分析の失敗」と呼びました。

この注目度の高い紛争は、その機能のために大量のウェブデータに依存するAI企業と、知的財産およびコンテンツ配信の管理を維持しようと努力するウェブサイト運営者との間の緊張が高まっていることを浮き彫りにしています。AIツールが検索拡張生成（RAG）に依存していることは、最新情報の継続的な必要性を意味し、一部のパブリッシャーはこれを「収益を脅かす寄生的な関係」と見なしています。AIデータソース、ボットの行動の透明性、およびrobots.txtのようなウェブ標準への準拠に関する倫理的考慮事項が、この議論の最前線にあります。Cloudflareは最近、「コンテンツ独立記念日」イニシアチブを開始しました。これは、250万を超えるウェブサイトがAIトレーニングクローラーをブロックし、コンテンツに対するより大きな制御を主張できるようにすることを目的としています。Perplexityがそのコンテンツ取得慣行について精査されるのはこれが初めてではなく、以前には盗作やペイウォールの回避を含む疑惑がありました。進行中の論争は、進化するデジタルランドスケープにおいて、AIイノベーションとウェブパブリッシャーの権利および嗜好とのバランスをとるという複雑な課題を浮き彫りにしています。