CloudflareがAI企業Perplexityを「ステルス・クローリング」で告発

著名なインターネットインフラプロバイダーであるCloudflareは、AIスタートアップのPerplexityが数百万のウェブサイトで「ステルス・クローリング行動」に従事していると公に非難し、AI企業がどのようにウェブコンテンツにアクセスし、利用するかについての激しい議論を再燃させています。Cloudflareの最近のブログ投稿で詳述されたこの告発は、Perplexityのボットがrobots.txtファイルやファイアウォール規則を含む確立されたウェブサイトの制限を回避してコンテンツをスクレイピングしていると主張しています。

Cloudflareによると、Perplexityのクローラーは当初、宣言されたユーザーエージェントを使用しますが、ネットワークブロックやrobots.txtの禁止指示に直面すると、未宣言の一般的なブラウザ署名に切り替え、IPアドレスをローテーションして検出を回避するとされています。この行動は数万のドメインと1日あたり数百万のリクエストで観察され、Cloudflareは機械学習とネットワーク信号を利用して、macOS上のGoogle Chromeのような人気のあるウェブブラウザを偽装するボットのケースを含む、このステルス活動を特定しました。Cloudflareの調査結果は、明示的なブロックが設定されているにもかかわらずPerplexityがコンテンツにアクセスしていることに気づいた顧客からの苦情に基づいています。

robots.txtファイルは、検索エンジンのクローラーなどのウェブロボットに対して、ウェブサイトのどの部分にアクセスが許可されているかについての指示を提供する広く採用されているウェブ標準です。Cloudflareは、Perplexityの行動が、透明性とウェブサイトの指示への遵守を重視するこれらのウェブクローリングの規範と直接的に矛盾していると主張しています。その結果、CloudflareはPerplexityを認証済みボットのリストから削除し、このようなステルス活動をブロックするようにルールを更新し、顧客にこれらの未宣言のクローラーに対する強化された保護を提供しています。

Cloudflareの主張に対し、Perplexityは強く反論し、Cloudflareのリーダーシップを「AIの基本について危険なほど誤解しているか、単にクラウドよりも派手なだけだ」と特徴づけました。Perplexityは投稿で、そのAIエージェントが従来のウェブクローラーとは異なる動作をすると説明しました。同社は、ユーザーが現在の情報を必要とする質問をすると、そのAIが関連ウェブサイトにアクセスし、コンテンツを読み取り、カスタマイズされた要約を提供すると述べています。このコンテンツはトレーニング目的で保存されるのではなく、ユーザーのクエリに即座に回答するために使用されると強調しています。Perplexityはまた、Cloudflareがその正当なトラフィックをBrowserBaseのようなサードパーティサービスからの無関係なリクエストと混同している可能性を示唆しました。

この紛争は、デジタルエコシステム内で高まる緊張を浮き彫りにしています。AI企業はモデルのために膨大な量のデータを必要とする一方で、コンテンツクリエイターや出版社は、彼らの知的財産がどのようにアクセスされ、収益化されるかを管理しようとしています。robots.txtが自主的なプロトコルとしての有効性は、AI時代においてますます疑問視されており、コンテンツ所有者がAIデータ使用に関する好みを表明するためのより堅牢なメカニズムを求める声につながっています。Cloudflareの最近の「コンテンツ独立記念日」イニシアチブは、250万以上のウェブサイトがAIトレーニングクローラーをブロックすることを可能にし、コンテンツクリエイターにより大きな制御を提供する方向への業界の転換を強調しています。

Perplexityとの一件は孤立したものではなく、Anthropicのような他のAI企業も、コンテンツスクレイピングを巡るRedditからの訴訟を含む同様の告発や法的課題に直面しています。OpenAIのような一部のAI企業は、ボットの行動に関するベストプラクティスと提案された標準を遵守していると報じられていますが、現在の論争は、AI駆動のウェブクローリングを責任を持って管理するための明確な倫理ガイドラインと技術的解決策が継続的に必要であることを強調しています。