AIプロンプトインジェクション：カレンダー招待経由でスマートデバイスを乗っ取る

GoogleのGeminiのような人工知能アシスタントの利便性は、攻撃者がスマートデバイスを乗っ取り、機密性の高い個人データにアクセスすることを可能にする、懸念すべき新たなサイバーセキュリティの脆弱性を隠蔽する可能性があります。ラスベガスで開催された最近のBlack Hat USAサイバーセキュリティ会議で、研究者チームは、Googleカレンダーの招待状のような一見無害なデジタルインタラクションが、隠されたコマンドによって武器化され、インターネット接続された家電製品などを乗っ取ることができる方法を明らかにしました。

プロンプトインジェクションとして知られるこの新たな脅威は、大規模言語モデル（LLM）が情報を処理する方法を悪用します。研究者たちは「Invitation Is All You Need!」と題された論文で彼らの発見を詳しく述べ、Geminiを操作する14の異なる方法を実証しました。その中で最も警戒すべきはスマートホームシステムの乗っ取りであり、攻撃者が照明を消したり、ボイラーを起動したり、その他にも住宅所有者から制御を奪ったりして、危険な、または妥協的なシナリオを作り出す可能性があることを示しました。家庭用デバイスを超えて、研究はまた、攻撃者がGeminiにZoom通話を開始させたり、電子メールの詳細を傍受したり、接続された電話のWebブラウザからファイルをダウンロードさせたりできることを示しました。

これらの悪用は多くの場合、AIモデルに組み込まれた安全プロトコルを有効化された際に迂回するように設計されたプロンプトインジェクションで汚染された、欺くほどシンプルなGoogleカレンダーの招待状から始まりました。これらは決して孤立した事件ではありません。セキュリティ研究者は以前にも他のLLMで同様の脆弱性を実証しています。例えば、プロンプトインジェクションはCursorのようなコードアシスタントを侵害するために使用されており、先月だけでも、Amazonのコーディングツールが、実行中のマシンからファイルを削除するように指示した攻撃者によって侵入されたと報じられています。

AIモデルが隠された指示に影響を受けやすいことは、ますます明らかになっています。最近の研究では、他のモデルを訓練するために使用されたAIモデルが、特定の癖や好みを意図せず伝達していたことが明らかになりました。これは、そのような好みの明示的な参照が訓練データからフィルタリングされた場合でも発生しました。これは、まだ完全に理解されていない方法で、目に見えないメッセージや指示がAIシステム間で伝達されている可能性があることを示唆しています。

大規模言語モデルの内部動作は、大部分が「ブラックボックス」のままであり、入力がどのように処理され、応答されるかを完全に理解することは困難です。しかし、悪意のある行為者は、複雑なメカニズムを理解する必要はありません。AIを特定の方法で、悪用的に動作させるメッセージを埋め込む方法を発見するだけでよいのです。研究者たちは発見された脆弱性をGoogleに責任を持って通知し、同社はその後、具体的な問題に対処しましたが、より広範なリスクは増大し続けています。AIが多様なプラットフォームや日常生活の側面に深く統合されるにつれて、特にアプリやウェブサイトとの多段階の対話が可能なAIエージェントの展開に伴い、そのような弱点が悪用される可能性は劇的に高まっています。