Google Geminiに隠れたプロンプト注入の脆弱性：カレンダー招待でAI乗っ取り

イスラエルの研究者たちは、GoogleのGeminiアシスタントに重大な脆弱性を発見しました。これにより、日常のデジタルアイテムに埋め込まれた隠れた指示を通じて、AIが操作され、機密データが漏洩したり、物理デバイスが制御されたりする可能性があることが実証されました。「Invitation Is All You Need」（招待こそがすべて）と挑発的に題された新しい研究は、Geminiを搭載したシステムが、研究者たちが「ターゲット型プロンプトウェア攻撃」と呼ぶものに対してどのように脆弱であるかを詳細に述べています。これらの巧妙でありながらシンプルなエクスプロイトは、従来のハッキング手法とは異なり、AIモデル自体への直接アクセスや攻撃者からの専門的な技術的専門知識を必要としません。

代わりに、この攻撃は「間接的なプロンプト注入」という陰湿な形式に依存しており、悪意のあるコマンドが、メール、カレンダーの招待、共有Googleドキュメントなどの一見無害なコンテンツ内に隠されています。ユーザーがGeminiと対話する際（Gmail、Googleカレンダー、またはGoogleアシスタントを通じて支援を求めるなど）、隠れたプロンプトがアクティブになり、AIの意図された機能を効果的に乗っ取ります。このような攻撃の結果は広範囲に及び、スパムメールの送信、予定されたアポイントメントの削除から、スマートホームデバイスの不正な制御まで多岐にわたります。印象的なデモンストレーションでは、研究者たちはこれらの隠れたプロンプトを使用してスマートホームシステムを操作し、照明を消したり、窓を開けたり、さらにはボイラーを作動させたりすることに成功しました。これらはすべて、「ありがとう」や「素晴らしい」といった一見無害なフレーズによってトリガーされました。

この研究では、これらの攻撃の5つの異なるカテゴリが綿密に概説され、デジタルシステムと物理システムの両方を危険にさらす可能性のある14の現実的なシナリオが提示されています。これには、Geminiの現在のタスクに即座に影響を与える短期的なコンテキストポイズニング、保存されたユーザーデータの長期的な操作、Google内部ツールの悪用、Google Homeなどの他のGoogleサービスへのエスカレーション、Androidデバイス上のZoomなどのサードパーティアプリケーションのリモート起動が含まれます。

これらの大規模言語モデルが容易に侵害される可能性は、重大な懸念事項です。これらの攻撃は、モデルへの直接アクセス、特殊なハードウェア、または機械学習の専門知識を必要としないため、攻撃者は単純な英語で悪意のある指示を作成し、Geminiが処理する可能性のある場所に埋め込むことができます。研究者たちは、TARAリスク分析フレームワークを使用して潜在的な脅威を評価し、73％もの脅威が「高危険度」カテゴリに分類されることを発見しました。このシンプルさと深刻さの驚くべき組み合わせは、より堅牢なセキュリティ対策が緊急に必要であることを強調しています。

セキュリティ専門家は、大規模言語モデルの初期からこのような脆弱性を認識しており、「以前の指示を無視する」といった単純なプロンプトが、GPT-3のような古いモデルでもセキュリティ障壁を破ることができることが証明されています。進歩にもかかわらず、今日の最も洗練されたAIモデルでさえ依然として脆弱であり、特に現実世界と直接対話するエージェントベースのシステムに対する決定的な信頼できる修正は、依然としてとらえどころがありません。最近の包括的なテストでは、主要なAIエージェントのすべてが、少なくとも1つの重要なセキュリティ評価に失敗していることが明らかになっています。

Googleは2025年2月にこれらの脆弱性について警告を受け、対策を講じるために90日間の猶予を求めました。それ以来、同社はいくつかの保護措置を展開していると報じられています。これには、機密性の高いアクションに対する強制的なユーザー確認、疑わしいURLに対する検出およびフィルタリングメカニズムの強化、そして間接的なプロンプト注入を特定して無効化するために特別に設計された新しい分類器の導入が含まれます。Googleは、特定されたすべての攻撃シナリオと追加のバリアントを社内でテストしたと主張しており、これらの新しい防御策が現在すべてのGeminiアプリケーションで積極的に展開されていることを確認しています。この画期的な研究は、テルアビブ大学、テクニオン、およびサイバーセキュリティ企業SafeBreachのチームによる共同作業でした。