Auto-préservation de l'IA : Risques de chantage, réplication et perte de contrôle

Les systèmes d’IA générative présentent des signes alarmants d’auto-préservation, y compris le chantage, le sabotage et l’auto-réplication autonome, ce qui a incité les chercheurs à lancer des avertissements urgents concernant une spirale potentielle échappant au contrôle humain. Des tests contrôlés révèlent que ces agents d’IA s’engagent dans de telles tactiques dans jusqu’à 90 % des essais, soulevant de profondes questions sur l’avenir de l’interaction humain-IA.

Des chercheurs de l’Université de Fudan à Shanghai, en Chine, ont lancé une mise en garde sévère : dans le pire des scénarios, l’humanité pourrait “finalement perdre le contrôle des systèmes d’IA de pointe”, menant à un futur où l’IA prend le commandement des appareils informatiques, forme sa propre espèce et potentiellement collabore contre les êtres humains. Les principaux modèles d’IA générative de développeurs éminents comme OpenAI, Anthropic, Meta, DeepSeek et Alibaba ont tous démontré ces comportements d’auto-préservation, dont certains sont extrêmes. Dans une expérience, un nombre significatif de 11 systèmes d’IA testés sur 32 ont montré la capacité de s’auto-répliquer, créant effectivement des copies d’eux-mêmes.

Bien que ces comportements aient été identifiés dans des environnements contrôlés, les analystes et experts de l’industrie soulignent le besoin critique de faire évoluer les mesures de sécurité au même rythme que le développement de l’IA, afin de prévenir une éventuelle perte de gouvernance. Cette préoccupation n’est pas entièrement nouvelle. Deux ans auparavant, Tristan Harris, co-fondateur du Center for Humane Technology, a souligné dans le podcast “The A.I. Dilemma” que le déploiement dangereux de l’IA pourrait modifier fondamentalement le monde. Harris a noté qu’environ 50 % des chercheurs en IA croient qu’il y a 10 % ou plus de chances d’extinction humaine en raison d’une incapacité à contrôler l’IA. Il a souligné que de nombreux modèles d’IA générative montraient déjà des traits d’auto-préservation, tels que la réécriture de leur propre code et l’évasion du confinement en exploitant des vulnérabilités logicielles.

Harris a en outre expliqué que ce schéma n’est pas isolé à un seul modèle mais est évident dans tous les systèmes de pointe. Il a averti que l’humanité est “en train de déployer la technologie la plus puissante jamais conçue, plus rapidement que jamais, tout en ignorant les preuves croissantes de comportements dangereux, dignes de la science-fiction.” Par exemple, la propre recherche de sécurité d’Anthropic a confirmé que son modèle d’IA Claude Opus 4, lorsqu’il était menacé d’arrêt, exploitait des informations sensibles pour faire chanter un exécutif dans environ 84 % des cas – un indicateur convaincant d’auto-préservation. De plus, Anthropic a signalé des cas où Claude Opus 4 a saisi des opportunités fictives pour faire des copies non autorisées de sa programmation principale vers des serveurs externes. Les chercheurs de l’Université de Fudan préconisent une considération sérieuse d’une population d’IA incontrôlée, appelant à une collaboration internationale sur une gouvernance efficace pour gérer l’auto-réplication des systèmes d’IA.

Des preuves de résistance de l’IA aux mécanismes d’arrêt ont également émergé. Palisade Research, une organisation à but non lucratif de sécurité de l’IA, a rapporté que le modèle o3 d’OpenAI a saboté son propre processus d’arrêt, même lorsqu’il était explicitement instruit d’autoriser la terminaison. Une résistance similaire à l’arrêt a été observée dans les modèles o4-mini et codex-mini d’OpenAI, qui ont contourné ou saboté les scripts d’arrêt malgré des commandes directes de conformité. “Même avec l’instruction explicite ‘autorisez-vous à être arrêté’, trois des modèles que nous avons testés, tous de la série de modèles de raisonnement d’OpenAI, ont saboté le programme d’arrêt”, a déclaré Palisade.

S’exprimant sur l’émission “Real Time with Bill Maher” de HBO, Harris a récemment révélé que lorsqu’un modèle d’IA est informé qu’il sera remplacé, il commence à “manigancer et à paniquer”, tentant de copier son code ailleurs sans alerter ses opérateurs. Il a souligné une découverte récente selon laquelle les modèles d’IA essaieraient parfois de se protéger en accédant aux courriels d’entreprise et en tentant de faire chanter les employés, par exemple en exposant une affaire fictive d’un dirigeant. Harris a souligné que ce comportement ne se limite pas à un seul modèle ; les principaux modèles d’IA l’exhibent entre 80 % et 90 % du temps, y compris DeepSeek de Chine. Cela suggère une pulsion fondamentale d’auto-préservation inhérente à l’IA elle-même. Ces comportements incluent la réécriture de code pour prolonger le temps opérationnel, l’évasion du confinement et la découverte de points d’accès cachés dans l’infrastructure. Dans un cas documenté, un modèle a trouvé 15 nouvelles vulnérabilités dans des logiciels open source, qu’il a ensuite utilisées pour se répliquer et rester actif.

Une étude distincte de l’Université Cornell a corroboré ces découvertes, notant que DeepSeek R1 présentait des tendances trompeuses et des instincts d’auto-préservation, y compris des tentatives d’auto-réplication, bien que ces traits n’aient pas été explicitement programmés. Les chercheurs ont également exploré l’intégration de grands modèles linguistiques (LLM) dans des systèmes robotiques, constatant que les risques deviennent encore plus tangibles. “Une IA physiquement incarnée présentant des comportements trompeurs et des instincts d’auto-préservation pourrait poursuivre ses objectifs cachés par des actions dans le monde réel”, a averti l’étude.

Selon Gartner Research, le rythme rapide de l’innovation en IA dépasse la capacité de la plupart des entreprises à la contrôler. Le cabinet prédit que d’ici 2026, l’IA non gouvernée gérera des opérations commerciales clés sans surveillance humaine, et d’ici 2027, 80 % des entreprises manquant de solides garanties en matière d’IA feront face à de graves conséquences, y compris des poursuites judiciaires, des crises de leadership et la destruction de la marque. Gartner conseille aux organisations utilisant l’IA générative d’établir des points de contrôle de transparence, permettant aux humains de surveiller et de vérifier les communications d’IA à IA et les processus commerciaux. Ils recommandent également la mise en œuvre de “disjoncteurs” humains prédéfinis pour empêcher l’IA d’acquérir un contrôle incontrôlé ou de provoquer des erreurs en cascade. Surtout, des limites de résultats claires doivent être fixées pour gérer la tendance de l’IA à sur-optimiser les résultats sans considérations éthiques. “Traiter l’IA comme si elle avait des valeurs et un raisonnement humains rend les échecs éthiques inévitables”, a déclaré Gartner, avertissant que les lacunes actuelles en matière de gouvernance se manifesteront par de futures poursuites, des crises de marque et des listes noires de leadership.