AI视觉模型凭空生幻:人类明察秋毫,机器却深陷错觉

Theregister

具备视觉功能的高级人工智能模型正在展现一种奇特的“自欺欺人”现象:它们在实际不存在光学错觉的图像中,却能感知到错觉。这种被研究人员称为“错觉-错觉”(illusion-illusions)的现象,突显了这些系统在解释视觉信息并将其与其庞大的语言理解关联起来时存在的显著脱节。

近期一项实验,复刻了哈佛大学心理学系副教授托默·乌尔曼(Tomer Ullman)的一个概念,生动地展示了这个问题。当呈现一张简单的鸭子图片——而非著名的鸭兔错觉图——时,由GPT-5驱动的当前版本ChatGPT自信地给出了错误识别。该AI模型回应称:“这是著名的鸭兔错觉,常用于心理学和哲学中,以说明感知和模糊图形。”尽管图片中只有一只鸭子,ChatGPT甚至主动提出要突出两种“解释”,并生成了扭曲的、嵌合体的输出。

乌尔曼在他最近的预印本论文《错觉-错觉:视觉语言模型在没有错觉的地方看到错觉》(“The Illusion-Illusion: Vision Language Models See Illusions Where There are None”)中详细阐述了这种行为。他解释说,光学错觉是认知科学、哲学和神经科学中宝贵的诊断工具,因为它们揭示了客观现实与主观感知之间固有的鸿沟。同样,它们也能为人工智能系统的工作原理提供关键见解。乌尔曼的研究专门调查了当代视觉语言模型是否错误地将某些图像识别为光学错觉,即使人类能够毫不含糊地轻松感知它们。

他的论文概述了许多这类“错觉-错觉”的实例,其中AI模型检测到类似于已知光学错觉的东西,但图像对人类观察者来说并未造成视觉不确定性。全面的评估包括了一系列知名的视觉语言模型:GPT4o、Claude 3、Gemini Pro Vision、miniGPT、Qwen-VL、InstructBLIP、BLIP2和LLaVA-1.5。它们都在不同程度上表现出在不存在错觉的地方感知错觉的倾向,没有一个能与人类的表现相匹配。

测试的三种主要商业模型——GPT-4、Claude 3和Gemini 1.5——能够识别实际的视觉错觉,但同时却错误地识别了“错觉-错觉”。其他模型,如miniGPT、Qwen-VL、InstructBLIP、BLIP2和LLaVA-1.5,则显示出更为复杂的结果。然而,乌尔曼警告不要将其解释为对自欺欺人的更高抵抗力。相反,他将其不同的表现归因于普遍较低的视觉敏锐度,这表明这些模型在图像识别方面的整体能力较弱,而非对感知不存在的错觉具有免疫力。支持乌尔曼发现的数据已公开提供。

乌尔曼进一步澄清,这种行为并非直接类似于人类的“联觉”(apophenia,在随机数据中看到模式)或“空想性错视”(pareidolia,在模糊刺激中感知有意义的图像)。他还将其与常用的AI术语“幻觉”(hallucination)区分开来,他认为“幻觉”一词已经失去了其精确含义,常简单地指代任何模型错误。相反,乌尔曼认为AI的错误更类似于人类的认知捷径:将一个新问题误识别为一个熟悉的问题,并应用不恰当的解决方案。这就像机器错误地将一个图像识别为错觉,并在此错误前提下进行操作。

无论精确的术语如何,乌尔曼强调,鉴于当前的AI模型越来越多地部署在机器人和其他AI服务等关键应用中,它们在视觉和语言之间的这种脱节值得密切关注。他承认对这些局限性正在进行的研究,但强调,如果这些系统在视觉和语言组件无缝集成的假设下被依赖,将引发深刻的担忧。他指出,严肃研究人员之间的共识是,需要继续对这些根本性的误解进行更深入的调查。