2025年AI治理调查：揭示AI威胁、监管挑战与人类监督的迫切性

由PacificAI和Gradient Flow合作进行的《2025年AI治理调查》为人工智能在各行业快速整合所带来的网络安全挑战提供了关键洞察。调查强调了专业人士和爱好者之间日益增长的共识：有效治理新兴AI系统至关重要。该调查深入探讨了组织当前面临的问题，并概述了加强防御以应对这些不断演变风险的策略。

该调查最令人担忧的发现之一是AI驱动威胁的复杂性正在不断升级。网络安全专家越来越担心AI正在赋予黑客权力，一份惊人的报告指出，AI驱动的密码破解工具在不到30天内绕过了81%的常见密码组合。鉴于调查发现只有54%的组织拥有AI专属的事件响应预案，许多组织在AI驱动的攻击发生时极易遭受重大损失，这一日益增长的威胁情势尤其令人担忧。然而，积极的一面是，四分之三的公司已经制定了AI使用政策，这表明人们对保护和主动规划的关键需求有了新的认识，尽管实施仍需完善。

加剧这些挑战的是自动化与人工监督之间的微妙平衡。组织经常面临经济范围内5%到10%的劳动力缺口，这可能阻碍他们在规模扩张时充分配备安全团队。虽然AI提供了可扩展性，但过度依赖自动化安全系统而缺乏足够的人工监督，可能会助长自满情绪，并无意中增加黑客攻击的脆弱性。调查发现，尽管48%的受访者表示其组织会监控AI系统的使用和准确性，但技术领导者和首席执行官们普遍认为，强大的人工监督仍然是一个关键问题。将人类智能与自动化系统相结合，例如在模型部署前进行同行评审或定期抽样输出以确保准确性，可以帮助解决道德问题并识别AI可能遗漏的威胁，从而防止因过度依赖机器而产生危险先例。

围绕AI治理的监管环境正在不断变化。截至2025年5月，已有超过69个国家/地区出台了一千多项与AI相关的政策，这反映了全球对治理问题的觉醒。尽管AI依赖于庞大的数据集，但不受监管的数据使用会产生重大漏洞。调查强调了基础理解的严重不足，尤其是在小型企业中，只有14%的员工掌握了NIST AI风险管理框架的基础知识，而这对于隐私保护至关重要。此外，理解ISO/IEC 42001等AI管理系统全球标准对于技术专业人员实施强大的访问控制、验证过滤器、差分隐私和联邦学习至关重要——这些技术对于系统保护和法证证据保存必不可少。一个特别阴险的新兴威胁是“数据投毒”，恶意行为者操纵训练数据以降低机器学习模型的可靠性，引入偏差、不准确的结果，甚至为未来的利用留下后门访问点。

调查中一个普遍的主题是迫切呼吁提高AI系统的透明度。AI模型产生偏见或不可预测结果的内在潜力，使得人类干预对于识别和缓解未来问题变得不可或缺。然而，这种对透明度的推动也带来了悖论：过多地揭示AI的内部运作可能会无意中为网络攻击者提供新的利用途径。研究还指出后期模型阶段的关键空白；虽然规划、数据和建模受到关注，但在部署和监督方面，专业人员往往过度依赖AI的结果，而人工干预较少。这种依赖是危险的，调查结果显示，73%的AI代理实施在凭证范围方面过于宽松，61%的组织不确定其自动化系统实际访问了什么。采用工具审计实时系统对于防止漏洞和控制自主系统至关重要，这些系统若不加检查，可能会引发曾仅限于科幻小说的场景。

解决方案的一部分在于新兴的“左移”运动，该运动主张在开发生命周期的早期嵌入安全实践。尽管许多公司正在起草政策，但调查表明，将机器学习操作（MLOps）安全性整合到日常工作流程中存在滞后。技术领导者虽然渴望利用生成式AI来制定更好的策略，但往往缺乏熟练的劳动力或培训来执行这些举措。这一差距凸显了对具备监控、治理工具和事件响应设计方面高级技能的网络安全专业人员日益增长的需求。调查发现，只有41%的公司提供年度AI培训，其中小型组织落后最远，这突出了一项关键缺陷。在模型审计、MLOps安全、框架熟悉度和风险评估等领域进行技能提升至关重要。鼓励“红队”AI系统（对抗性测试）、紧跟新工具集以及参与开放培训平台等实践，可以帮助培养必要的专业知识，通常可以利用外部“漏洞赏金猎人”或道德黑客在恶意行为者利用漏洞之前主动识别并报告它们。将AI治理嵌入日常工作流程是防止代价高昂的事件和声誉损害的关键。

《2025年AI治理调查》传递了一个严峻的信息：尽管AI被广泛采用，但各种规模的组织都未能有效管理相关风险。调查结果向首席执行官、技术领导者和IT专业人员发出了紧急呼吁，要求他们加强监督和数据治理，同时投资提升现有员工的技能。随着AI的必然增长，企业必须培养灵活性，以应对新的潜在威胁，同时保持成本效益。