Anthropic收紧Claude AI安全规则，禁止开发生化核武器

为了应对人工智能安全日益增长的担忧，Anthropic采取了一项重要举措，更新了其Claude AI聊天机器人的用量政策。修订后的指南已悄然生效，引入了更严格的禁令，特别是关于危险武器的开发，同时也应对了日益自主的AI工具所带来的新兴风险。

尽管Anthropic在其公开的变更摘要中并未明确强调，但一项关键修订是明确禁止使用Claude开发生物、化学、放射性或核（CBRN）武器。虽然该公司之前的政策笼统地禁止使用Claude“生产、修改、设计、营销或分发武器、爆炸物、危险材料或其他旨在造成人类生命伤害或损失的系统”，但更新后的版本现在明确将“高当量炸药”与CBRN类别并列。这一细化强调了业界越来越关注防止AI助长灾难性损害，并在此基础上加强了保障措施，例如Anthropic在5月推出Claude Opus 4模型时实施的“AI安全级别3”保护，旨在使系统更不易被操纵，也更不可能协助此类危险活动。

除了武器开发，Anthropic还在应对“自主AI工具”——即能够自主采取行动的系统——带来的新兴挑战。该公司特别承认了与“计算机使用”等功能相关的风险，该功能允许Claude控制用户的计算机；以及“Claude代码”，一个将AI直接集成到开发者终端的工具。Anthropic指出，这些强大的功能引入了“新的风险，包括潜在的大规模滥用、恶意软件创建和网络攻击”。

为了减轻这些威胁，更新后的政策纳入了一个名为“不得损害计算机或网络系统”的新章节。该部分建立了明确的规则，禁止利用Claude发现或利用系统漏洞、创建或分发恶意软件，或开发用于拒绝服务攻击的工具，此类攻击旨在中断合法用户的网络访问。这些新增内容反映了Anthropic在网络安全领域主动防范AI武器化的立场。

在一项更为细致的调整中，Anthropic还完善了其对政治内容的立场。该公司不再对所有与政治竞选和游说相关的内容一概禁止，而是现在只禁止“欺骗或扰乱民主进程，或涉及选民和竞选目标定位”的Claude使用。这表明，在保持严格禁止滥用以进行操纵的同时，允许更普遍的政治讨论。此外，Anthropic澄清，其对“高风险”用例——即Claude向个人或客户提供建议的场景——的要求仅适用于面向消费者的应用程序，而不适用于企业对企业的交互，从而为商业部署提供了更大的灵活性。

这些全面的政策更新突显了Anthropic在不断演进的数字世界中，致力于平衡创新与防止滥用，持续应对先进AI复杂伦理和安全格局的努力。