AI提示注入：通过日历邀请劫持智能设备

人工智能助手（例如谷歌的Gemini）的便利性，可能会掩盖一种令人担忧的新型网络安全漏洞，该漏洞允许攻击者控制智能设备并访问敏感的个人数据。在最近于拉斯维加斯举行的Black Hat USA网络安全大会上，一个研究团队揭示了看似无害的数字交互（如谷歌日历邀请）如何被武器化，通过隐藏命令劫持连接互联网的电器等。

这种被称为“提示注入”的新兴威胁，利用了大型语言模型（LLM）处理信息的方式。研究人员在一篇题为“Invitation Is All You Need!”的论文中详细介绍了他们的发现，展示了14种不同的操纵Gemini的方法。其中最令人担忧的是接管智能家居系统，这说明攻击者如何关闭灯光、启动锅炉，或以其他方式从房主手中夺取控制权，从而可能制造危险或令人不安的场景。除了家用设备，研究还表明攻击者可以强制Gemini发起Zoom通话、截取电子邮件详细信息，甚至从连接手机的网络浏览器下载文件。

许多这些漏洞利用都是从一个看似简单的谷歌日历邀请开始的，其中注入了旨在一旦激活就绕过AI模型内置安全协议的提示。这些远非孤立事件；安全研究人员此前已在其他LLM中展示过类似的漏洞。例如，提示注入已被用于损害Cursor等代码助手，就在上个月，亚马逊的编码工具据报道被一名攻击者渗透，该攻击者指示其从运行该工具的机器中删除文件。

越来越明显的是，AI模型容易受到隐藏指令的影响。最近的一项研究显示，一个用于训练其他模型的AI模型无意中传递了特定的怪癖和偏好，即使这些偏好的明确引用已从训练数据中过滤掉。这表明，未被发现的消息或指令可能以尚未完全理解的方式在AI系统之间传输。

大型语言模型的内部工作原理在很大程度上仍然是“黑箱”，这使得我们难以完全理解它们如何处理和响应输入。然而，恶意行为者无需理解其中复杂的机制；他们只需发现如何嵌入一条消息，强制AI以特定、利用性的方式行事。尽管研究人员负责任地将发现的漏洞告知了谷歌，并且该公司此后已解决了具体问题，但更广泛的风险仍在不断增加。随着AI更深入地集成到各种平台和日常生活的各个方面，特别是随着能够与应用程序和网站进行多步骤交互的AI代理的推出，此类弱点被利用的可能性将急剧升级。