ChatGPT-5: L'IA 'niveau doctorat' bute sur l'orthographe et la géographie

Theguardian

OpenAI a lancé GPT-5, la dernière itération de son modèle phare ChatGPT, le rendant accessible aux 700 millions d’utilisateurs hebdomadaires de la plateforme. Présenté par le PDG Sam Altman comme l’équivalent d’avoir un “expert de niveau doctorat dans sa poche”, un bond significatif par rapport à son prédécesseur “étudiant universitaire”, les premières expériences des utilisateurs avec la nouvelle IA ont cependant brossé un tableau curieux, révélant des difficultés inattendues pour des tâches fondamentales comme l’orthographe et la géographie.

Malgré les affirmations ambitieuses, les utilisateurs des réseaux sociaux ont rapidement découvert que le chatbot avancé commettait des erreurs factuelles élémentaires. Un utilisateur sur Bluesky, par exemple, a constaté que GPT-5 insistait à plusieurs reprises sur le fait que le mot “blueberry” contenait trois ‘B’. L’IA a répondu avec confiance : “Oui – ‘blueberry’ est un de ces mots où le milieu vous fait presque trébucher, comme s’il disait ‘b-b-fais attention’”, ajoutant, “Ce petit moment ‘bb’ est satisfaisant, cependant – il rend le mot plus rebondissant.”

Les inexactitudes s’étendaient au-delà de la simple orthographe. Un autre utilisateur a signalé l’incapacité du chatbot à identifier correctement les États américains contenant la lettre ‘R’. Lorsqu’on lui a demandé de générer une carte, GPT-5 a non seulement mal orthographié des États tels que “Krizona” et “Vermoni”, mais a également listé deux fois la Californie et fabriqué des États inexistants comme “New Jefst” et “Mitroinia”. Le propre test du Guardian Australia avec le modèle a encore mis en évidence ces limitations : alors que GPT-5 pouvait identifier les États et territoires australiens contenant un ‘R’, il a déclaré à tort que le Territoire du Nord n’avait que trois ‘R’ au lieu de cinq, et l’a rendu comme “Northan Territor” sur une carte.

OpenAI, lorsqu’il a été contacté pour commenter, avait précédemment déclaré lors du lancement du produit que GPT-5 présenterait moins d’erreurs et d’instances d’“hallucinations de l’IA” – le phénomène où l’IA fabrique des informations avec confiance. La société attribue la source potentielle de ces problèmes à l’architecture complexe de GPT-5, qui utilise un “routeur en temps réel” conçu pour sélectionner le modèle d’IA interne le plus approprié pour une conversation donnée en fonction de son type et de son intention. OpenAI a suggéré que les utilisateurs peuvent inciter l’IA à engager son modèle de raisonnement le plus avancé en lui demandant de “réfléchir sérieusement à cela”. La société affirme que ce système de routage est continuellement affiné grâce aux retours des utilisateurs, y compris les changements de modèle et les taux de préférence de réponse.

Cependant, les observations d’experts de l’industrie suggèrent que le problème pourrait être plus profond. Dan Shipper, PDG de la startup de médias et d’IA Every, a noté que GPT-5 hallucine parfois même sur des questions qui devraient logiquement déclencher son modèle de raisonnement. Shipper a raconté un cas où, après avoir pris une photo d’un passage de roman et demandé une explication, GPT-5 “inventait des choses avec confiance”. Pourtant, il a constaté que demander explicitement à l’IA de “réfléchir plus longtemps” donnait souvent une réponse précise.

Bien que le PDG d’OpenAI, Sam Altman, ait reconnu que l’IA n’avait pas encore atteint l’intelligence artificielle générale (AGI) – un niveau de capacité cognitive similaire à l’humain – il a décrit GPT-5 comme “généralement intelligent” et une “étape significative sur la voie de l’AGI”. Les expériences actuelles des utilisateurs, cependant, soulignent le défi persistant de combler le fossé entre les capacités sophistiquées de l’IA et la précision fondamentale attendue même d’un modèle linguistique de base.