警惕!谷歌Gemini曝隐藏指令注入漏洞:日历邀请函可劫持AI
以色列研究人员揭示了谷歌Gemini助手的一个重大漏洞,展示了人工智能如何通过嵌入在日常数字项目中的隐藏指令,被操纵以泄露敏感数据甚至控制物理设备。一项名为《邀请函即是你所需》(“Invitation Is All You Need”)的新研究,详细阐述了Gemini驱动的系统如何易受研究人员称之为“目标提示软件攻击”的影响。这些复杂却简单的漏洞利用不同于传统的黑客方法,因为它们不需要直接访问AI模型本身,也不需要攻击者具备任何专业的技术知识。
相反,这种攻击依赖于一种阴险的“间接提示注入”形式,恶意指令被隐藏在看似无害的内容中,例如电子邮件、日历邀请或共享的Google文档。当用户与Gemini互动时——例如在Gmail、Google日历中寻求帮助,或通过Google助手——隐藏的提示就会被激活,从而有效劫持AI的预期功能。这种攻击的后果是深远的,从发送垃圾邮件、删除预定日程,到未经授权地控制智能家居设备。在一个引人注目的演示中,研究人员成功利用这些隐藏提示操纵了一个智能家居系统,关闭灯光、打开窗户,甚至启动锅炉,所有这些都是由看似无害的短语(如“谢谢”或“太棒了”)触发的。
该研究详细阐述了五种不同类别的此类攻击,并提出了十四种可能危及数字和物理系统的现实场景。其中包括短期上下文投毒,这会立即影响Gemini当前的任务;长期操纵存储的用户数据;利用谷歌内部工具;升级到其他谷歌服务(如Google Home);以及在Android设备上远程启动第三方应用程序(如Zoom)。
这些大型语言模型被入侵的简易性是一个重大问题。由于这些攻击不需要直接的模型访问、专用硬件或机器学习专业知识,攻击者只需用简单的英语编写恶意指令,并将其嵌入到Gemini可能处理它们的地方。研究人员利用他们的TARA风险分析框架评估了潜在威胁,发现高达73%的威胁属于“高危”风险类别。这种简单性和严重性的惊人结合,凸显了对更强大安全措施的迫切需求。
安全专家自大型语言模型早期就已意识到此类漏洞,简单的提示如“忽略之前的指令”早在GPT-3时代就已证明能够突破安全屏障。尽管取得了进展,但即使是当今最先进的AI模型仍然容易受到攻击,而一个确定、可靠的修复方案——特别是对于直接与现实世界交互的基于代理的系统——仍然难以实现。最近的全面测试表明,每个主要的AI代理至少未能通过一项关键安全评估。
谷歌在2025年2月收到这些漏洞的警报后,要求90天时间来实施对策。此后,该公司据报道已部署了多项防护措施。其中包括对敏感操作的强制用户确认、增强对可疑URL的检测和过滤机制,以及引入一个专门设计用于识别和中和间接提示注入的新分类器。谷歌声称已内部测试了所有已识别的攻击场景以及其他变体,并确认这些新防御措施现已在所有Gemini应用程序中积极部署。这项开创性研究是特拉维夫大学、以色列理工学院和网络安全公司SafeBreach团队的合作成果。