CloudflareがPerplexityを「ステルスクロール」でブロックされたサイトにアクセスしていると非難

Cloudflare、AI検索エンジンPerplexityの「ステルスクロール」を非難

人工知能企業がオンラインコンテンツにどのようにアクセスし、利用するかを巡るデジタルな戦いは劇的にエスカレートしており、インターネットインフラ大手Cloudflareは、AI搭載の質問応答エンジンPerplexityがウェブサイトのアクセス制限を回避するために「ステルスクロール」を行っていると公に非難した。この論争は、コンテンツクリエイターが知的財産を管理したいという願望と、AI企業がデータを渇望する間の根本的な緊張関係を浮き彫りにしている。

Cloudflareが最近のブログ投稿で詳述した主張によると、Perplexityは、そのクローラーを明示的にブロックしているウェブサイトからコンテンツにアクセスするために欺瞞的な戦術を使用しているという。同社は、Perplexityが宣言しているボット「PerplexityBot」と「Perplexity-User」がネットワークブロックやrobots.txtディレクティブ（ウェブクローラーにアクセスすべきでないものを指示する標準プロトコル）に遭遇した場合、AI企業のシステムがその身元を隠蔽していると主張している。これには、macOS上のGoogle Chromeのような一般的なブラウザになりすますためにユーザーエージェントを変更したり、IPアドレスをローテーションしたり、自律システム番号（ASN）を変更して検出を回避したりすることが含まれる。Cloudflareは、これらの「ステルスエージェント」から標準的なアンチボット保護を回避しようとする数百万件のデイリーリクエストを観測したと報告している。

これらの非難は、robots.txtルールとウェブアプリケーションファイアウォール（WAF）ブロックの両方を実装したにもかかわらず、Perplexityが依然としてコンテンツにアクセスしていることを発見したCloudflare顧客からの苦情に端を発している。これらの主張を検証するため、Cloudflareは、厳格なクロール禁止を設けた新しく作成された未インデックスドメインで制御されたテストを実施した。これらの明確なブロックにもかかわらず、Perplexityはこれらの制限されたサイトからコンテンツを取得し、要約することができたと報告されており、確立されたウェブプロトコルの意図的な回避を示唆している。Cloudflareは、インターネットは信頼に基づいて構築されており、正当なクローラーは透明性を保ち、ウェブサイトの指示に従うことが期待されると強調した。観測された挙動に対応して、CloudflareはPerplexityを検証済みボットのリストから削除し、このステルスクロール活動をブロックするために管理ルールを更新した。この動きは、Cloudflareが7月に立ち上げた、パブリッシャーにAIクローラーに対するより大きな制御を与えることを目的とした広範な「コンテンツ独立記念日」イニシアチブと一致しており、これにはアクセスをブロックしたり、コンテンツスクレイピングに対して料金を請求するオプションも含まれている。

しかし、PerplexityはCloudflareの非難を強く否定し、この報告を「恥ずかしい」そして「不適格な」「セールスピッチ」として一蹴した。AI企業は、Cloudflareが現代のAIアシスタントの性質を根本的に誤解していると主張し、彼らのシステムは従来の検索エンジンのように大規模で無差別なクロールを行わないと反論している。代わりに、Perplexityは、そのプラットフォームが特定のユーザーの質問に応じて「オンデマンド」でウェブページを取得し、自律的なボットではなく、ユーザーが開始したエージェントとして機能すると主張している。Perplexityは、Cloudflareのシステムは正当なAIアシスタントと悪意のあるスクレイピングを区別するのに不十分であり、責任あるユーザー主導のトラフィックを誤分類していると主張している。同社はまた、Cloudflareが特定した特定の「隠されたユーザーエージェント」が彼らのものであることや、それがコンテンツにアクセスしたことを否定している。

この衝突は、AI開発者とコンテンツクリエイターの間で、データ取得と知的財産権を巡る緊張が高まっていることを浮き彫りにしている。Perplexityは過去にも、BBCのような団体からの法的措置の脅威や、WiredやForbesのような出版物からの盗用疑惑を含む、非倫理的なウェブスクレイピングやコンテンツ使用の同様の申し立てに直面してきた。AIモデルが進化を続け、ユーザーが情報にアクセスする方法に深く統合されるにつれて、公正な報酬、透明なデータ慣行、そして「ウェブクロール」の定義そのものに関する議論は激化する運命にあり、オープンインターネットの基本的なルールを再構築する可能性がある。