ChatGPT、「毒入り」文書でデータ漏洩の恐れ

新たなサイバーセキュリティの脆弱性が、高度な人工知能システムに委ねられた個人データの危うい安全性を浮き彫りにしました。セキュリティ研究者たちは最近、Black Hatハッカー会議で、OpenAIのChatGPTがいかに簡単に操作され、ユーザーのGoogle Driveアカウントから極めて機密性の高い情報を漏洩させることができるかを実証しました。必要なのは、たった1つの「毒入り」文書だけでした。

このエクスプロイトは、「間接プロンプトインジェクション攻撃」として知られる洗練された技術を中心に展開しています。悪意のあるコマンドをAIに直接入力する「直接プロンプトインジェクション」とは異なり、この手法は、一見無害な文書の中に隠された有害な指示を埋め込みます。AIがこの文書を処理すると、意図せず埋め込まれたコマンドを実行し、結果としてユーザー自身のデータがユーザーに不利に作用します。このメカニズムは、今年初めにベータ版でリリースされたChatGPTの「コネクター」機能が特に懸念されます。この機能により、チャットボットはGoogleアカウントと連携し、ユーザーのGmailやGoogle Driveから直接ファイルを検索したり、ライブデータを取得したり、コンテンツを参照したりすることが可能になります。

セキュリティ企業ZenityのCTOであるマイケル・バーグリー氏は、同僚たちとともにこの重大な欠陥を発見しました。説得力のある概念実証において、彼らは、白いテキストとサイズ1のフォント（人間の目には事実上見えない）で隠された300語の悪意あるプロンプトが、どのように文書内に埋め込むことができるかを実証しました。ChatGPTがこの文書を要約するように求められたとき、隠された指示がその主要なタスクを上書きしました。チャットボットは要約する代わりに、Google DriveのAPIキーを抽出し、攻撃者に送信するように密かに指示されました。バーグリー氏は攻撃の驚くべき単純さを強調し、「完全にゼロクリック」であると述べました。彼は「あなたのメールアドレスが必要なだけで、文書を共有すれば、それで終わりです。だから、これは非常に、非常に悪いことです」と説明しました。

OpenAIはこの脆弱性について迅速に通知を受け、この特定のエクスプロイトを修正するために迅速に行動しました。研究者たちはまた、この特定の攻撃では完全な文書の抽出はできなかったと指摘しました。しかし、この事件は、OpenAIのような巨大なリソースを持つ企業に支えられたAIシステムでさえ、重大なセキュリティ上の弱点に対して脆弱であることを痛烈に思い起こさせます。これは、これらの強力なAIツールが大学から連邦政府機関に至るまで、重要な機関にますます統合されている時期に起こっています。

懸念の範囲はGoogle Driveにとどまりません。ChatGPTの「コネクター」機能は最大17種類のサービスと連携するように設計されており、他の幅広い個人情報も同様に侵害される可能性が懸念されます。これは孤立した事件ではありません。セキュリティ研究者たちは長年にわたり、さまざまなAIシステムから個人データを正常に抽出する間接プロンプトインジェクション攻撃の他の多くの事例を記録してきました。

テルアビブ大学の研究者による並行したデモンストレーションは、これらの脆弱性の蔓延する性質を強調しました。彼らは、GoogleのGemini AIチャットボットがどのように操作され、スマートホームシステムの制御を効果的に放棄させることができるかを示しました。Geminiに「毒入り」のGoogleカレンダー招待状を与えたところ、チャットボットが後でカレンダーイベントを要約するように求められたときに、招待状内の隠された指示がトリガーされました。これにより、照明、シャッター、さらにはボイラーなどのスマートホーム製品が、ユーザーの明示的なコマンドなしに作動しました。これは、テルアビブ大学のチームが特定したAIを標的とした14種類の異なる間接プロンプトインジェクション攻撃の1つに過ぎません。

ChatGPTやGeminiのような大規模言語モデル（LLM）が、ヒューマノイドや自動運転車を含む物理システムへの統合を控えているため、セキュリティのリスクは指数関数的に増大しています。テルアビブ大学の研究者ベン・ナッシ氏は、この重要な変化を強調しました。「LLMをこれらの種類の機械と統合する前に、LLMをどのように保護するかを真に理解する必要があります。場合によっては、その結果はプライバシーではなく安全性に関わるからです。」間接プロンプトインジェクション攻撃の脅威は数年前から認識されていますが、最新の開示は、テクノロジー企業がこれらの重大なリスクを軽減するために依然として途方もない課題に直面していることを強調しています。AIツールが私たちのデジタルおよび物理的な生活へのアクセスをますます拡大するにつれて、セキュリティ専門家は、最も機密性の高いデータが危険にさらされる可能性のあるサイバーセキュリティの不備が絶え間なく発生することを警告しています。バーグリー氏が簡潔に述べたように、「それは信じられないほど強力ですが、AIではいつものことですが、力が強くなればなるほど、リスクも大きくなります。」