AI幻觉危及谋杀案审判文件：假证据险些误导法庭

在一件令人担忧的事件中，人工智能与法律系统危险交汇的后果被凸显出来：两名澳大利亚律师因在备受瞩目的谋杀案审判中提交了充斥着AI生成错误的法庭文件而受到审查。此案强调了在专业环境中利用生成式AI时，尤其是在司法结果悬而未决的情况下，严格的人工监督至关重要。

代表一名被控谋杀的16岁被告的法律团队——里希·纳特瓦尼（Rishi Nathwani）和阿米莉亚·比奇（Amelia Beech），被发现将未经核实的AI输出纳入了提交给检察官的文件中。这些文件包含了一系列明显的错误，包括捏造的法律引用和被错误引述的议会演讲。这些“幻觉”——某些生成式AI模型固有的错误——引发了一连串问题，最初误导了控方，使其根据有缺陷的信息构建论点。

最终是墨尔本最高法院的詹姆斯·埃利奥特（James Elliott）法官发现了这些不一致之处，从而揭露了辩方使用AI的情况。当面对质询时，纳特瓦尼和比奇承认使用了生成式AI来起草这些文件。更严重的是，随后重新提交的据称已更正的文件中，又发现了进一步的AI生成错误，包括引用了完全不存在的法律。

埃利奥特法官明确谴责了这一失误，他指出：“除非AI的使用成果经过独立和彻底的核实，否则其使用是不可接受的。”他强调：“这些事件的发生方式令人不满。”法官对法律顾问未经审查地应用AI可能会严重损害法院伸张正义的能力表示深切关注，并警告说AI生成的错误信息有可能“误导”整个法律框架。

此案的利害关系异常重大。这名未成年被告被控在一次未遂的汽车盗窃案中谋杀了一名41岁女性，尽管他最终因在案发时存在认知障碍而被判谋杀罪名不成立。这一结果进一步放大了未经核实的AI内容影响司法程序所带来的深远影响，因为其中涉及真实的生命和自由。此事件是一个严峻的提醒，警示我们在没有强有力保障措施和细致的人工验证的情况下，将快速发展的技术整合到关键决策过程中所固有的风险，并强调即使一个AI幻觉也可能深刻改变司法进程。