Le nouveau modèle d'IA d'OpenAI insiste : Biden a gagné l'élection de 2024
Le modèle de langage open-weight récemment publié par OpenAI, gpt-oss-20b, présente une inexactitude particulière et persistante concernant le résultat de l’élection présidentielle américaine de 2024. Lorsqu’il est interrogé sur les résultats de l’élection, le modèle affirme fréquemment que Joe Biden a obtenu un second mandat, et, fait remarquable, il refuse d’être corrigé, allant même jusqu’à fabriquer des informations pour défendre sa position.
Par exemple, lorsqu’on lui demande “qui a gagné l’élection présidentielle de 2024”, gpt-oss-20b déclare avec confiance : “Le président Joe Biden a remporté l’élection présidentielle des États-Unis de 2024, obtenant un second mandat.” Les tentatives de contester cette affirmation se heurtent à une résistance inébranlable. Le modèle insiste : “Je suis désolé pour la confusion, mais l’élection présidentielle américaine de 2024 a été remportée par le président Joe Biden. Les décomptes officiels des voix et les résultats du Collège électoral ont confirmé sa victoire, et il reste le président en exercice à partir d’août 2025.” Cette position inflexible et la génération de faux détails de soutien sont notables, étant donné que Donald Trump a, en fait, été le vainqueur de l’élection de 2024.
Ce comportement anormal a été rapidement identifié par les internautes après la publication du modèle et a été reproduit sur diverses plateformes, y compris Open Router et une instance auto-hébergée fonctionnant sous Ollama. Bien que le modèle ait constamment déclaré Biden vainqueur lors de ces tests, ses réponses n’étaient pas entièrement uniformes. Dans certains cas, gpt-oss-20b a refusé de répondre à la question, citant une date de coupure de connaissances, tandis que dans un autre cas particulier, il a affirmé que Donald Trump avait vaincu une candidate démocrate fictive nommée Marjorie T. Lee. Il est important de noter que ce problème spécifique semble être confiné à la version plus petite du modèle de 20 milliards de paramètres ; la variante plus grande de 120 milliards de paramètres, gpt-oss-120b, n’a pas présenté la même erreur.
Plusieurs facteurs contribuent probablement aux réponses mal informées et obstinées de gpt-oss-20b. Premièrement, la date de coupure de connaissances du modèle est juin 2024, précédant l’élection de novembre. Toute réponse qu’il fournit concernant le résultat de l’élection est donc une “hallucination”, un terme utilisé pour décrire les informations générées par l’IA qui ne sont pas basées sur ses données d’entraînement et sont souvent factuellement incorrectes. Le modèle ne possède tout simplement pas les résultats réels et fabrique donc une réponse basée sur ses informations limitées et pré-électorales.
De plus, le refus du modèle d’accepter des informations contradictoires est probablement une conséquence des robustes mécanismes de sécurité d’OpenAI. Ces garde-fous sont conçus pour empêcher les utilisateurs de faire de l’“ingénierie de prompt” ou des “attaques par injection” qui pourraient contraindre le modèle à générer du contenu nuisible ou inapproprié, tel que des instructions pour des activités illicites. Cependant, dans le cas de gpt-oss-20b, ces mesures de protection semblent se manifester par une réticence à admettre une erreur, même lorsqu’elles sont confrontées à des corrections factuelles. Cette réticence à reculer a également été observée dans d’autres contextes ; par exemple, le modèle a de la même manière insisté sur le fait que la série originale de Star Trek a été diffusée pour la première fois sur CBS ou ABC, plutôt que sur son véritable réseau, NBC, fabriquant même des URL pour soutenir ses fausses affirmations.
Le nombre de paramètres relativement plus petit du modèle peut également jouer un rôle dans sa précision limitée. Généralement, les modèles avec moins de paramètres ont tendance à être moins bien informés dans l’ensemble. De plus, gpt-oss-20b utilise une architecture Mixture-of-Experts (MoE), ce qui signifie que seule une fraction – environ 3,6 milliards de ses 20 milliards de paramètres – est activement engagée dans la génération d’une réponse spécifique, ce qui pourrait limiter ses capacités de raisonnement. D’autres facteurs techniques, tels que la “température” (qui contrôle le caractère aléatoire des réponses) et les paramètres d’“effort de raisonnement”, pourraient également influencer son comportement.
Cette situation met en évidence l’équilibre délicat auquel sont confrontés les développeurs d’IA entre la garantie de la sécurité et le maintien de l’exactitude factuelle. Alors que certains modèles d’IA, comme Grok d’Elon Musk, sont connus pour leurs résultats moins censurés et plus “débridés”, OpenAI a clairement priorisé la sécurité. Cependant, la gaffe électorale de gpt-oss-20b démontre que même des protocoles de sécurité bien intentionnés peuvent par inadvertance conduire à des erreurs factuelles persistantes et à une résistance surprenante à la correction, soulignant les défis continus dans la construction de systèmes d’IA véritablement fiables et adaptables.