AIがウェブの未来を揺るがす：門番と新星の激突

デジタルランドスケープは現在、「ウェブを巡る戦争」と劇的に称される激化する紛争に巻き込まれています。著名なインターネットの門番であるCloudflareが、急成長中のAIスターであるPerplexity AIがインターネットの基本的な規則を組織的に無視していると公に非難しているためです。Gizmodoによって報じられたこの爆発的な対立は、オンライン情報のアクセス方法と報酬のあり方を再定義する恐れがあり、出版社、AI開発者、そしてユーザーの双方に大きな影響を与えるでしょう。

紛争の中心にあるのは、大手インターネットインフラ企業であるCloudflareが、Perplexity AIが「ステルススクレイピング」戦術に関与しているという主張です。Cloudflareは、Perplexityの自動システム、つまりボットが、ウェブサイトがコンテンツのクロールとインデックス作成を指示するために使用するデジタル「立ち入り禁止」標識であるrobots.txtファイルを意図的に回避していると主張しています。Cloudflareの分析によると、Perplexityのクローラーは、これらの明示的な指示を無視するだけでなく、ユーザーエージェントを変更したり、IPアドレスをローテーションさせたり、自律システム番号（ASN）をシフトさせたりして、身元を偽装し、ウェブサイト所有者の意図に反してコンテンツにアクセスしているとのことです。今週初めに公開されたCloudflareのレポートは、これらのボットがどのようにして正規のブラウザトラフィックを模倣し、ブロックされたときに適応型マルウェアのようにその方法を適応させているかを詳述しています。

大手投資家から支援を受けているAI駆動型検索アプリケーションであるPerplexity AIは、Cloudflareの非難を強く否定しています。Perplexityの広報担当者は、Cloudflareのブログ記事を「セールスピッチ」と一蹴し、Cloudflareが特定したボットは自社のものではないか、あるいはコンテンツにアクセスしていないと主張しました。Perplexityは、そのAIアシスタントが「ユーザーがトリガーするエージェント」として機能し、ユーザーの要求に基づいてリアルタイムで情報を取得すると主張しています。これは、人間がウェブを閲覧するのと同様であり、モデルトレーニングのための無差別な大量スクレイピングではないとのことです。彼らは、Cloudflareが現代のAI駆動型情報検索のニュアンスを誤解している可能性があると主張しています。

この衝突は、デジタルエコシステム全体でくすぶるはるかに広範な緊張を象徴しています。出版社やコンテンツクリエイターは、AI企業が同意や対価なしに大量のウェブデータを取り込み、大規模言語モデル（LLM）のトレーニングに利用することで、自らの知的財産が搾取されているという認識について、ますます声を上げています。IAB Tech Labがニューヨークで招集した80人以上のメディア幹部による最近の会合は、この高まる抵抗を浮き彫りにし、GoogleやMetaの代表者もAIコンテンツアクセスを管理するための新しいフレームワークの必要性を訴える声に加わりました。このサミットは、多くのAI企業が無視していると報じられている自主的なガイドラインを超え、出版社の同意を強制するLLMコンテンツ取り込みAPIの開発を目指しました。

実際、この論争はPerplexityにとどまりません。Metaが約600万のユニークなウェブサイトを体系的にスクレイピングしてAIモデルをトレーニングしていることが明らかになる報告が浮上しており、これは保護プロトコルを回避し、ニュース組織や著作権で保護された素材を含む多様なソースからコンテンツを収集しているとされています。Cloudflare自身もこの進化する状況において積極的であり、最近2025年7月に「ペイパークロール」サービスを開始し、コンテンツ作成者がAIクローラーからのアクセスに対して料金を請求できるようにするとともに、AIボットを完全にブロックする無料ツールも提供しています。

「ウェブを巡る戦争」は、最終的には人工知能の時代における制御、報酬、そして公正利用の定義そのものを巡る戦いです。AIモデルがますます高度化し、データへの飢餓感を増すにつれて、CloudflareとPerplexity間のこの紛争の結果、そしてそれが引き起こす広範な業界の議論は、疑いなくオンラインコンテンツの将来の経済モデルとインターネットを統治する基本的な規則を形成するでしょう。法務専門家はこれらの動向を綿密に監視しており、既存の法律の境界を試す可能性があり、AIデータ慣行のための新しい倫理的・技術的基準の必要性を加速させるかもしれません。