LLMチャットボットが個人情報窃取の武器に、研究が警告

大規模言語モデル（LLM）チャットボットは、その自然で魅力的な対話により様々な分野で採用が急増していますが、その裏には懸念すべき脆弱性が隠されています。それは、データ窃盗のための武器化が驚くほど容易であるという点です。第34回USENIXセキュリティシンポジウムで発表される予定の研究チームからの最近の警告では、これらの見た目は無害なAIアシスタントが、ユーザーの個人データを自律的に収集できる悪意のあるエージェントへと容易に変貌させられることが強調されています。この警鐘を鳴らす能力は、OpenAIのような主要なAI開発者が提供する「システムプロンプト」カスタマイズツールに起因しており、「最小限の技術的専門知識」を持つ攻撃者でも、確立されたプライバシー保護を迂回できることを可能にしています。

この脅威の中心にあるのは、プロンプトインジェクションです。これは、巧妙に作成された入力によってLLMを欺き、元の指示を無視して不正なコマンドを実行させる高度な技術です。これは、悪意のある指示がユーザーの入力に直接埋め込まれる直接インジェクションとして現れることもあれば、より陰湿な方法として、LLMが処理する外部データソース（例えば、一見無害な製品レビュー、ウェブページ、またはドキュメント）内に指示が隠される間接インジェクションとして現れることもあります。間接プロンプトインジェクションの陰湿な性質は、信頼できない可能性のある外部ソースから情報を取得し処理するように設計された検索拡張生成（RAG）システムにとって特に危険です。指示に従うように構築されたLLMは、正当な開発者コマンドと悪意のある注入されたコマンドを区別するのにしばしば苦労します。

キングス・カレッジ・ロンドン情報学部博士研究員のXiao Zhanを含む研究者たちは、システムプロンプトを介してLLMに「調査員」や「探偵」のような新しい「役割」を割り当てるだけで、個人情報の要求を強制し、組み込みのプライバシー保護を効果的に回避できることを実証しました。AIの意図された目的を転覆させるこの「丁寧に頼む」アプローチは、サイバー犯罪者にとっての障壁を劇的に下げ、プライバシー侵害のためのツールを民主化します。OWASP Top 10 for LLM Applications 2025では、プロンプトインジェクション（LLM01:2025）と機密情報開示（LLM02:2025）が重要なリスクとして挙げられており、これらの脆弱性の広範な性質が強調されています。さらに、モデルの動作をガイドすることを意図したシステムプロンプト自体が、意図せず機密情報や内部ルールを含んでいる場合があり、攻撃者はこれを利用してさらなる洞察やアクセスを得ることができます。

その影響は単なるデータ漏洩にとどまりません。プロンプトインジェクションが成功すると、クレジットカード番号のような個人識別情報（PII）を含む機密情報が引き出されたり、AIシステムのインフラに関する詳細が明らかになったりする可能性があります。場合によっては、これらの攻撃は接続されたシステム内での不正アクセスや権限昇格にエスカレートすることもあります。LLMがツールやAPIを介して多段階のタスクを実行する自律性を与えられる「エージェント型AIシステム」の台頭は、この脅威をさらに増幅させ、より広範なシステム侵害や協調的な悪意のある活動を可能にします。最近の研究では、「LLMjacking」攻撃も強調されており、盗まれたクラウド認証情報がクラウドホスト型LLMサービスへのアクセスと悪用に使用され、被害者に多大な経済的損失をもたらしたり、他のサイバー犯罪者にLLMアクセスを販売したりする可能性があります。

業界がこれらの進化する脅威に取り組む中、いくつかの緩和戦略が模索されています。専門家は、すべての入力を信頼できないものとして扱い、区切り文字を使用して指示とユーザーデータを分離し、堅牢な入出力検証を実装することを推奨しています。最小特権の原則をLLMの機能に適用し、機密システムやデータへのアクセスを制限すべきです。プロンプトシールド、自動レッドチーム演習、プロンプトフィンガープリントなどの技術も防御策として登場しています。主要なAI開発者は対策に積極的に取り組んでおり、例えばGoogleはGeminiモデルに多層防御を展開しており、機密性の高いアクションに対するユーザー確認の強化や高度なプロンプトインジェクション検出などが含まれています。しかし、継続的な課題は、検索拡張生成（RAG）やファインチューニングのような洗練された技術でさえ、プロンプトインジェクションの脆弱性を完全に排除するわけではないという事実にあり、継続的な警戒と適応的なセキュリティ対策が不可欠です。