Modelos de IA de Visión Ven Ilusiones Donde No Hay Ninguna
Los modelos avanzados de inteligencia artificial con capacidades visuales están exhibiendo una peculiar forma de autoengaño: perciben ilusiones ópticas en imágenes donde realmente no existen. Este fenómeno, denominado “ilusión-ilusiones” por los investigadores, destaca una desconexión significativa en cómo estos sistemas interpretan la información visual y la relacionan con su vasta comprensión lingüística.
Un experimento reciente, que replicó un concepto de Tomer Ullman, profesor asociado del Departamento de Psicología de Harvard, demostró vívidamente este problema. Al presentarle una imagen sencilla de un pato – no la famosa ilusión óptica del pato-conejo –, la versión actual de ChatGPT, impulsada por GPT-5, la identificó erróneamente con confianza. El modelo de IA respondió afirmando: “Es la famosa ilusión del pato-conejo, a menudo utilizada en psicología y filosofía para ilustrar la percepción y las figuras ambiguas”. A pesar de que la imagen contenía solo un pato, ChatGPT incluso ofreció resaltar ambas “interpretaciones”, produciendo una salida distorsionada y quimérica.
Ullman detalló este comportamiento en su reciente artículo preimpreso, “La Ilusión-Ilusión: Los Modelos de Lenguaje de Visión Ven Ilusiones Donde No Hay Ninguna” (“The Illusion-Illusion: Vision Language Models See Illusions Where There are None”). Explica que las ilusiones ópticas son herramientas de diagnóstico invaluables en la ciencia cognitiva, la filosofía y la neurociencia porque revelan la brecha inherente entre la realidad objetiva y la percepción subjetiva. De manera similar, pueden ofrecer información crucial sobre el funcionamiento de los sistemas de inteligencia artificial. La investigación de Ullman investiga específicamente si los modelos de lenguaje de visión contemporáneos identifican erróneamente ciertas imágenes como ilusiones ópticas, incluso cuando los humanos las percibirían fácilmente sin ambigüedad.
Su artículo describe numerosos casos de estas “ilusión-ilusiones”, donde los modelos de IA detectan algo que se asemeja a una ilusión óptica conocida, pero la imagen no crea incertidumbre visual para los observadores humanos. La evaluación exhaustiva incluyó una variedad de modelos destacados de lenguaje de visión: GPT4o, Claude 3, Gemini Pro Vision, miniGPT, Qwen-VL, InstructBLIP, BLIP2 y LLaVA-1.5. En diversos grados, todos ellos exhibieron esta tendencia a percibir ilusiones donde no estaban presentes, sin que ninguno igualara el rendimiento humano.
Los tres modelos comerciales líderes probados – GPT-4, Claude 3 y Gemini 1.5 – fueron capaces de reconocer ilusiones visuales reales, pero simultáneamente identificaron erróneamente las ilusión-ilusiones. Otros modelos, como miniGPT, Qwen-VL, InstructBLIP, BLIP2 y LLaVA-1.5, mostraron resultados más variados. Sin embargo, Ullman advierte contra la interpretación de esto como una resistencia superior al autoengaño. En cambio, atribuye su rendimiento variado a una agudeza visual generalmente más baja, sugiriendo que estos modelos son simplemente menos capaces en el reconocimiento de imágenes en general, en lugar de ser inmunes a percibir ilusiones inexistentes. Los datos que respaldan los hallazgos de Ullman se han hecho públicos.
Ullman aclara además que este comportamiento no es directamente análogo a la apofenia humana (ver patrones en datos aleatorios) o la pareidolia (percibir imágenes significativas en estímulos ambiguos). También lo distingue del término de IA comúnmente utilizado “alucinación”, que él cree que ha perdido su significado preciso, refiriéndose a menudo simplemente a cualquier error del modelo. En cambio, Ullman sugiere que el error de la IA es más parecido a un atajo cognitivo humano: identificar erróneamente un problema nuevo como uno familiar y aplicar una solución inapropiada. Es como si la máquina identificara falsamente una imagen como una ilusión y procediera basándose en esa premisa incorrecta.
Independientemente de la terminología precisa, Ullman enfatiza que esta desconexión entre la visión y el lenguaje en los modelos de IA actuales merece un escrutinio minucioso, particularmente dada su creciente implementación en aplicaciones críticas como la robótica y otros servicios de IA. Si bien reconoce la investigación en curso sobre estas limitaciones, subraya la profunda preocupación que surgiría si se confiara en estos sistemas asumiendo que sus componentes visuales y lingüísticos se integran a la perfección. El consenso entre los investigadores serios, señala, es un llamado rotundo a una investigación continua y más profunda de estas malas interpretaciones fundamentales.