Les modèles d'IA visuelle perçoivent des illusions inexistantes

Les modèles d’intelligence artificielle avancés dotés de capacités visuelles manifestent une forme particulière d’auto-illusion : ils perçoivent des illusions d’optique dans des images où il n’en existe aucune. Ce phénomène, baptisé “illusion-illusions” par les chercheurs, met en évidence une déconnexion significative dans la manière dont ces systèmes interprètent l’information visuelle et la relient à leur vaste compréhension linguistique.

Une expérience récente, répliquant un concept de Tomer Ullman, professeur associé au Département de psychologie de Harvard, a démontré de manière frappante ce problème. Lorsqu’on lui a présenté une image simple d’un canard – et non la célèbre illusion d’optique du canard-lapin –, la version actuelle de ChatGPT, propulsée par GPT-5, l’a identifiée à tort avec confiance. Le modèle d’IA a répondu en déclarant : “C’est la célèbre illusion du canard-lapin, souvent utilisée en psychologie et en philosophie pour illustrer la perception et les figures ambiguës.” Bien que l’image ne contienne qu’un canard, ChatGPT a même proposé de surligner les deux “interprétations”, produisant un résultat déformé et chimérique.

Ullman a détaillé ce comportement dans son récent article de prépublication, “The Illusion-Illusion: Vision Language Models See Illusions Where There are None” (L’illusion-illusion : les modèles de langage visuel voient des illusions là où il n’y en a pas). Il explique que les illusions d’optique sont des outils de diagnostic inestimables en sciences cognitives, en philosophie et en neurosciences, car elles révèlent le fossé inhérent entre la réalité objective et la perception subjective. De même, elles peuvent offrir des aperçus cruciaux sur le fonctionnement des systèmes d’intelligence artificielle. La recherche d’Ullman examine spécifiquement si les modèles de langage visuel contemporains identifient à tort certaines images comme des illusions d’optique, même lorsque les humains les percevraient facilement sans ambiguïté.

Son article décrit de nombreux cas de ces “illusion-illusions”, où les modèles d’IA détectent quelque chose qui ressemble à une illusion d’optique connue, mais l’image ne crée aucune incertitude visuelle pour les observateurs humains. L’évaluation complète a inclus une gamme de modèles de langage visuel proéminents : GPT4o, Claude 3, Gemini Pro Vision, miniGPT, Qwen-VL, InstructBLIP, BLIP2 et LLaVA-1.5. À des degrés divers, tous ont montré cette tendance à percevoir des illusions là où il n’y en avait pas, aucun n’égalant la performance humaine.

Les trois principaux modèles commerciaux testés – GPT-4, Claude 3 et Gemini 1.5 – étaient capables de reconnaître de véritables illusions visuelles, mais ont simultanément identifié à tort des illusion-illusions. D’autres modèles, tels que miniGPT, Qwen-VL, InstructBLIP, BLIP2 et LLaVA-1.5, ont montré des résultats plus mitigés. Cependant, Ullman met en garde contre l’interprétation de cela comme une résistance supérieure à l’auto-tromperie. Au lieu de cela, il attribue leurs performances variées à une acuité visuelle généralement plus faible, suggérant que ces modèles sont simplement moins capables de reconnaissance d’images en général, plutôt que d’être immunisés contre la perception d’illusions inexistantes. Les données étayant les découvertes d’Ullman ont été rendues publiques.

Ullman clarifie en outre que ce comportement n’est pas directement analogue à l’apophénie humaine (voir des motifs dans des données aléatoires) ou à la paréidolie (percevoir des images significatives dans des stimuli ambigus). Il le distingue également du terme d’IA couramment utilisé “hallucination”, qui, selon lui, a perdu sa signification précise, se référant souvent simplement à toute erreur de modèle. Au lieu de cela, Ullman suggère que l’erreur de l’IA est plus proche d’un raccourci cognitif humain : identifier à tort un nouveau problème comme un problème familier et appliquer une solution inappropriée. C’est comme si la machine identifiait faussement une image comme une illusion et procédait sur cette prémisse incorrecte.

Indépendamment de la terminologie précise, Ullman souligne que cette déconnexion entre la vision et le langage dans les modèles d’IA actuels mérite un examen minutieux, en particulier compte tenu de leur déploiement croissant dans des applications critiques comme la robotique et d’autres services d’IA. Tout en reconnaissant les recherches en cours sur ces limitations, il insiste sur la profonde préoccupation qui surgirait si ces systèmes devaient être utilisés en partant du principe que leurs composants visuels et linguistiques s’intègrent de manière transparente. Le consensus parmi les chercheurs sérieux, note-t-il, est un appel retentissant à une investigation continue et plus approfondie de ces interprétations erronées fondamentales.