AWS自动化推理:重塑AI信任,幻觉准确率高达99%

Amazon

亚马逊网络服务 (AWS) 已宣布普遍推出自动化推理检查,这是对其Amazon Bedrock Guardrails策略系统的一项重大增强。这项新功能通过对基础模型生成的内容与特定领域知识进行稳健验证,直接解决了AI“幻觉”(事实不准确和无意义输出)这一关键挑战。其目标是增强AI应用程序的信任度和可靠性,尤其是在精度至关重要的行业中。

与衡量结果可能性的传统概率推理方法不同,自动化推理检查采用数学逻辑和形式化验证技术。这种方法建立明确的规则和参数,AI响应将根据这些规则和参数进行严格检查,提供可证明的准确性保证。该系统拥有高达99%的惊人验证准确率,并且在模型输出存在多种解释时,它还有助于检测歧义。

此次普遍可用性发布引入了多项关键功能,旨在简化这些检查的实施和管理。用户现在可以处理大量文档,支持单次构建中处理多达80,000个令牌的大型文档(相当于约100页内容)。策略验证已得到简化,允许用户保存并重复运行验证测试,从而简化长期维护。此外,系统可以根据用户定义的参数自动生成测试场景,节省时间并确保更全面的覆盖。增强的策略反馈提供自然语言的策略改进建议,而可定制的验证设置允许用户调整置信度分数阈值,以满足其特定的操作需求。

在实践中,实施自动化推理检查涉及将特定知识领域中的规则编码到自动化推理策略中。然后,该策略将作为验证AI生成内容的明确标准。例如,一个组织可以创建一个抵押贷款审批策略,以确保AI助手预测严格遵守既定的贷款准则,防止偏离关键金融法规。此类策略建立在规则、变量和自定义类型的基础上,将自然语言策略文档转换为形式逻辑。规则定义了变量和阈值之间的关系,变量代表关键概念(如首付或信用评分),自定义类型处理非数字或非布尔值(如不同的抵押贷款类型)。该系统促进了稳健的测试,包括自动场景生成和手动测试输入,以评估初始策略的质量并验证任何后续更改。

自动化推理检查旨在与更广泛的Amazon Bedrock Guardrails框架无缝集成。它们可以与其他防护措施(如内容过滤和上下文接地检查)一起使用,并通过ApplyGuardrail API应用于Amazon Bedrock提供的模型或任何第三方模型(如OpenAI和Google Gemini)。该功能还扩展到代理框架,包括Strands Agents以及使用Amazon Bedrock AgentCore部署的代理。

这项技术的一个引人注目的实际应用来自AWS和普华永道 (PwC) 之间的合作,重点是公用事业中断管理系统。在这个关键领域,电力中断时每分钟都至关重要,AI解决方案正在部署以提高效率。自动化推理检查在此过程中发挥了关键作用,它能够自动生成符合法规要求的协议,根据既定策略实时验证响应计划,并创建具有明确响应目标的结构化、基于严重性的工作流程。通过评估AI生成的响应,系统可以识别无效或模糊的输出,并指导其完善,从而缩短响应时间,提高准确性,并为公用事业及其客户带来更好的结果。普华永道全球和美国商业技术与创新主管Matt Wood强调了此次合作的重要性,他表示这代表着“负责任AI的突破:经过数学评估的保障措施,现已直接嵌入Amazon Bedrock Guardrails”,这对于信任是不可协商要求的严格监管行业尤其重要。

Amazon Bedrock Guardrails中的自动化推理检查目前在部分AWS区域可用,包括美国东部(俄亥俄、弗吉尼亚北部)、美国西部(俄勒冈)和欧洲(法兰克福、爱尔兰、巴黎)。服务的定价基于处理的文本量。