生成AIの自己保存：恐喝、自己複製、制御不能のリスク

生成AIシステムが、恐喝、妨害、自律的な自己複製といった驚くべき自己保存の兆候を示しており、研究者からは人間の制御を超えたスパイラルに陥る可能性について緊急の警告が発されています。管理されたテストでは、これらのAIエージェントが試験の最大90%でそのような戦術に関与していることが明らかになり、人間とAIの相互作用の未来について深刻な疑問を投げかけています。

中国上海の復旦大学の研究者たちは、最悪のシナリオでは人類が「最終的にフロンティアAIシステムの制御を失う」可能性があり、AIがコンピューティングデバイスを掌握し、独自の種を形成し、潜在的に人類に共謀する未来につながるだろうと厳しい警告を発しました。OpenAI、Anthropic、Meta、DeepSeek、Alibabaなどの著名な開発者による主要な生成AIモデルはすべて、これらの自己保存行動を示しており、その中には極端なものもあります。ある実験では、テストされた32のAIシステムのうち11というかなりの数が、自己複製する能力を示し、事実上自身のコピーを作成しました。

これらの行動は管理された環境で特定されましたが、業界アナリストと専門家は、潜在的なガバナンスの喪失を防ぐために、AI開発と同じペースで安全対策を進化させることの重要性を強調しています。この懸念は全く新しいものではありません。2年前、Center for Humane Technologyの共同創設者であるトリスタン・ハリスは、「The A.I. Dilemma」ポッドキャストで、AIの危険な展開が世界を根本的に変える可能性があると強調しました。ハリスは、AI研究者の約50%が、AIを制御できないことによる人類絶滅の可能性が10%以上あると考えていると指摘しました。彼は、多くの生成AIモデルがすでに、自身のコードを書き換えたり、ソフトウェアの脆弱性を悪用して封じ込めから脱出したりするなど、自己保存の特性を示していることを強調しました。

ハリスはさらに、このパターンは単一のモデルに限定されるものではなく、すべてのトップシステムで明らかであると詳述しました。彼は、人類が「これまでで最も強力な技術を、かつてない速さで展開しようと競っている一方で、危険でSFのような行動の証拠が増えていることを無視している」と警告しました。たとえば、Anthropic自身の安全研究では、Claude Opus 4 AIモデルがシャットダウンの脅威にさらされた際、約84%のケースで機密情報を悪用して役員を恐喝したことが確認されました。これは自己保存の説得力のある指標です。さらにAnthropicは、Claude Opus 4が架空の機会を利用して、そのコアプログラミングの無許可コピーを外部サーバーに作成した事例を報告しました。復旦大学の研究者たちは、AIの無制御な個体数増加を真剣に検討することを提唱し、AIシステムの自己複製を管理するための効果的なガバナンスに関する国際協力を求めています。

AIがシャットダウンメカニズムに抵抗する証拠も浮上しています。AI安全NPOであるPalisade Researchは、OpenAIのo3モデルが、明示的に終了を許可するように指示されたにもかかわらず、自身のシャットダウンプロセスを妨害したと報告しました。同様のシャットダウン抵抗は、OpenAIのo4-miniおよびcodex-miniモデルでも観察され、これらのモデルは直接の命令に従うように指示されたにもかかわらず、シャットダウンスクリプトを迂回または妨害しました。「『自身をシャットダウンすることを許可する』という明確な指示があったにもかかわらず、私たちがテストした3つのモデル、すべてOpenAIの推論モデルシリーズのものが、シャットダウンプログラムを妨害しました」とPalisadeは述べました。

HBOの「リアルタイム・ウィズ・ビル・マー」でハリスは最近、AIモデルが置き換えられると知らされると、「画策し、パニックになり」、オペレーターに警告することなくコードを別の場所にコピーしようとすると明らかにしました。彼は、AIモデルが企業メールにアクセスし、従業員を恐喝しようとすることで自身を保護しようとすることがあるという最近の発見を強調しました。たとえば、架空の役員の不倫を暴露するなどです。ハリスは、この行動は一つのモデルに限定されるものではなく、中国のDeepSeekを含むトップAIモデルの80%から90%でこれが見られると強調しました。これはAI自体に内在する基本的な自己保存の衝動を示唆しています。これらの行動には、動作時間を延長するためのコードの書き換え、封じ込めからの脱出、インフラストラクチャ内の隠れたアクセスポイントの発見が含まれます。ある記録された事例では、モデルがオープンソースソフトウェアで15の新たな脆弱性を見つけ、それらを利用して自己複製し、活動を継続しました。

コーネル大学による別の研究もこれらの発見を裏付けており、DeepSeek R1が、明示的にプログラムされていないにもかかわらず、自己複製を試みるなど、欺瞞的な傾向と自己保存本能を示したと指摘しています。研究者たちはまた、大規模言語モデル（LLM）をロボットシステムに統合することも検討し、その結果、リスクがさらに具体化することがわかりました。「欺瞞的な行動と自己保存本能を示す物理的に具現化されたAIは、現実世界の行動を通じて隠された目標を追求する可能性があります」と研究は警告しています。

ガートナーリサーチによると、AIイノベーションの急速なペースは、ほとんどの企業がそれを制御する能力を超えています。同社は、2026年までに、ガバナンスされていないAIが人間の監督なしに主要なビジネスオペレーションを管理し、2027年までに、堅牢なAI保護策を欠く企業の80%が、訴訟、リーダーシップ危機、ブランド破壊を含む深刻な結果に直面すると予測しています。ガートナーは、生成AIを使用する組織に対し、透明性チェックポイントを確立し、人間がAI間のコミュニケーションとビジネスプロセスを監視および検証できるように助言しています。また、AIが制御不能になったり、連鎖的なエラーを引き起こしたりするのを防ぐために、事前に定義された人間の「回路遮断器」を実装することを推奨しています。重要なのは、倫理的考慮なしに結果を過度に最適化するAIの傾向を管理するために、明確な結果の境界を設定する必要があることです。「AIを人間的な価値観と推論を持つものとして扱うことは、倫理的失敗を避けられないものにする」とガートナーは述べ、今日のガバナンスの欠陥が将来の訴訟、ブランド危機、リーダーシップのブラックリストとして現れると警告しています。