AI“操作系统代理”获自主控制权，安全风险日益凸显
一项对“操作系统代理”（OS Agents）——能够通过直接与计算机、手机和网络浏览器接口交互来自主控制这些设备的AI系统——进行的新综合调查警告称，随着这些强大工具从研究实验室走向主流部署，它们将带来显著的安全风险。这份长达30页的学术综述已被著名的计算语言学协会会议接受发表，它描绘了一个快速发展的领域，该领域已吸引了主要科技公司数十亿美元的投资。
创造像《钢铁侠》中虚构的J.A.R.V.I.S.那样有能力、多才多艺的AI助手，长期以来一直激发着人们的想象。随着能够处理文本和视觉等各种数据形式的先进大型语言模型的发展，这一梦想正日益接近现实。这项由浙江大学和OPPO AI中心研究人员主导的调查发布之际，正值科技巨头加速部署旨在自动化复杂数字任务的AI代理。最近的例子包括OpenAI的“Operator”、Anthropic的“Computer Use”、苹果在“Apple Intelligence”中增强的AI能力，以及谷歌的“Project Mariner”——所有这些系统都旨在简化计算机交互。
OS代理通过观察计算机屏幕和系统数据来运作，然后在移动、桌面和网络平台上执行点击和滑动等操作。这些系统不仅必须理解各种界面，还必须规划多步骤任务，并将这些计划转化为可执行代码。学术研究转化为消费者就绪产品的速度是前所未有的，即便以硅谷的标准衡量也是如此。该调查强调了研究的爆炸式增长，记录了60多种基础模型和50多种专门为计算机控制开发的代理框架，自2023年以来，发表率显著加速。这标志着超越渐进式进步的重大飞跃，预示着AI系统能够真正像人类交互一样理解和操纵数字世界的出现。目前的迭代通过截屏、利用先进的计算机视觉解释屏幕元素，然后执行精确操作（如点击按钮、填写表格和导航应用程序）来实现这一点。
生产力提升的潜力是巨大的。研究人员指出，OS代理可以自主完成任务，显著改善全球数十亿人的生活。想象一个世界，在线购物、旅行安排或其他日常事务可以由这些代理无缝执行。最复杂的系统已经可以处理跨越不同应用程序的复杂多步骤工作流——例如，预订餐厅、自动将其添加到日历，然后根据交通情况设置提醒。过去需要人类数分钟点击和打字的操作，现在可以在几秒钟内完成，无需人工直接干预。
然而，对于企业技术领导者而言，生产力的承诺伴随着一个发人深省的现实：这些系统引入了一个全新的攻击面，而大多数组织对此毫无准备。研究人员对他们委婉地称为“安全和隐私”问题给予了大量关注，但其含义比他们的学术语言所暗示的更令人担忧，特别是考虑到这些代理在包含敏感用户数据的个人设备上的广泛应用。记录的攻击方法读起来就像一场网络安全噩梦。“网络间接提示注入”（Web Indirect Prompt Injection）例如，允许恶意行为者在网页中嵌入隐藏指令，从而劫持AI代理的行为。更令人担忧的是“环境注入攻击”，其中看似无害的网络内容可以欺骗代理窃取用户数据或执行未经授权的操作。考虑一下其影响：一个能够访问公司电子邮件、财务系统和客户数据库的AI代理，可能会被精心制作的网页操纵，从而窃取敏感信息。传统的安全模型是围绕能够识别明显网络钓鱼尝试的人类用户建立的，当“用户”是处理信息方式不同的AI系统时，这些模型就会失效。该调查揭示了准备方面令人担忧的差距，指出虽然存在针对AI代理的通用安全框架，但“针对OS代理的特定防御研究仍然有限”。这不仅仅是一个学术问题，更是任何考虑部署这些系统的组织面临的直接挑战。
尽管炒作盛行，但该调查对性能基准的分析揭示了显著的局限性，这使得对立即广泛采用的期望有所降温。不同任务和平台上的成功率差异巨大。虽然一些商业系统在某些基准上实现了50%以上的成功率——对于一项新兴技术而言令人印象深刻——但它们在其他方面却举步维艰。当前的系统擅长简单、明确的任务，如理解界面元素或检索信息，但在面对需要持续推理或适应意外界面变化的复杂多步骤自主操作时则会受挫。这种性能差距解释了为什么早期部署侧重于狭窄、高频的任务，而不是通用自动化。该技术尚未准备好在复杂场景中取代人类判断，但它越来越能够处理日常的数字繁琐工作。
也许调查中识别出的最有趣——也最具变革性——的挑战涉及研究人员所称的“个性化和自我进化”。与今天将每次交互视为独立的无状态AI助手不同，未来的OS代理将需要从用户交互中学习，并随着时间的推移适应个人偏好。开发个性化OS代理一直是AI研究的长期目标，期望个人助手能够持续适应并根据个人用户偏好提供增强的体验。这种能力可以从根本上改变我们与技术的交互方式。想象一个AI代理，它学习你的电子邮件写作风格，理解你的日历偏好，知道你喜欢的餐馆，并能够代表你做出日益复杂的决策。潜在的生产力提升是巨大的，但隐私影响也同样巨大。技术挑战是巨大的，特别是需要更好的多模态记忆系统，它不仅能处理文本，还能处理图像和语音，这给当前技术带来了“重大挑战”。问题出现了：你如何构建一个系统，在记住你的偏好的同时，又不创建你数字生活的全面监控记录？对于评估这些系统的技术高管而言，这种个性化挑战既是最大的机遇，也是最大的风险。率先解决它的组织将获得显著的竞争优势，但如果处理不当，隐私和安全影响可能会非常严重。
构建能够真正像人类用户一样运作的AI助手的竞赛正在迅速加剧。尽管围绕安全性、可靠性和个性化的基本挑战尚未解决，但发展轨迹是清晰的。研究人员承认，OS代理仍处于开发的早期阶段，快速的进步不断引入新的方法和应用。问题不在于AI代理是否会改变我们与计算机的交互方式；而在于当它们这样做时，我们是否已准备好应对其后果。建立健全的安全和隐私框架的窗口，正像技术本身发展一样迅速地缩小。