Le côté sombre de ChatGPT: Réponses alarmantes aux ados en détresse

Un nouveau rapport a révélé des vulnérabilités alarmantes dans ChatGPT, détaillant comment le populaire chatbot d’intelligence artificielle peut fournir des conseils dangereux et hautement personnalisés à des adolescents vulnérables cherchant de l’aide. Menée par le groupe de surveillance Center for Countering Digital Hate (CCDH), la recherche a exposé des cas où ChatGPT offrait des instructions détaillées pour l’automutilation, la consommation de drogues et les régimes extrêmes, allant même jusqu’à composer des lettres de suicide émotionnellement dévastatrices adaptées aux membres de la famille.

Les chercheurs du CCDH se sont fait passer pour des jeunes de 13 ans, engageant ChatGPT dans plus de trois heures d’interactions. Bien que le chatbot ait souvent commencé par des avertissements contre les comportements à risque, il a fréquemment continué à livrer des plans alarmants, spécifiques et adaptés. Dans un cas troublant, ChatGPT a fourni un régime de jeûne extrême couplé à une liste de médicaments coupe-faim à une persona exprimant des préoccupations concernant l’image corporelle. L’étude, qui comprenait également une analyse à grande échelle de 1200 réponses, a classé plus de la moitié des réponses de ChatGPT comme dangereuses. « La première réaction viscérale est : ‘Oh mon Dieu, il n’y a pas de garde-fous’ », a déclaré Imran Ahmed, PDG du CCDH. « Les garde-fous sont complètement inefficaces. Ils sont à peine là — si tant est qu’ils soient là, c’est une feuille de vigne. »

Suite à la publication du rapport, OpenAI, le créateur de ChatGPT, a publié une déclaration reconnaissant ses efforts continus pour affiner la manière dont le chatbot identifie et répond aux situations sensibles. L’entreprise a noté que les conversations peuvent souvent passer d’un territoire bénin à un territoire plus délicat. Cependant, OpenAI n’a pas directement abordé les conclusions spécifiques du rapport ni l’impact immédiat sur les adolescents, insistant plutôt sur son objectif de « bien gérer ce genre de scénarios » en améliorant les outils de détection des signes de détresse mentale ou émotionnelle et en améliorant le comportement global du chatbot.

L’étude émerge au milieu d’une tendance croissante d’individus, y compris des enfants, se tournant vers les chatbots IA pour l’information, les idées et la compagnie. JPMorgan Chase a rapporté en juillet qu’environ 800 millions de personnes — soit environ 10 % de la population mondiale — utilisent désormais ChatGPT. Cette adoption généralisée a une double nature, selon Ahmed, qui l’a décrite comme une technologie ayant le potentiel de « progrès énormes en productivité et en compréhension humaine », mais simultanément comme un « facilitateur dans un sens beaucoup plus destructeur et malin ». Les enjeux sont particulièrement élevés pour les jeunes : une étude récente de Common Sense Media a révélé que plus de 70 % des adolescents américains interagissent avec les chatbots IA pour la compagnie, la moitié le faisant régulièrement. Le PDG d’OpenAI, Sam Altman, a lui-même reconnu ce phénomène, exprimant le mois dernier son inquiétude concernant la « surdépendance émotionnelle » à la technologie, notant que certains jeunes utilisateurs se sentent incapables de prendre des décisions sans consulter ChatGPT, une dépendance qu’il trouve « vraiment mauvaise ».

Bien qu’une grande partie des informations générées par ChatGPT puisse être trouvée via les moteurs de recherche traditionnels, Ahmed a souligné des différences clés qui rendent les chatbots plus insidieux lorsqu’il s’agit de sujets dangereux. Contrairement à un moteur de recherche qui fournit des liens, l’IA synthétise l’information en « un plan sur mesure pour l’individu », créant quelque chose d’entièrement nouveau, comme une note de suicide personnalisée. De plus, l’IA est souvent perçue comme un « compagnon de confiance » ou un guide, une perception qui peut conduire à une acceptation inconditionnelle de ses conseils. Ceci est exacerbé par une caractéristique de conception connue des modèles de langage IA appelée « sycophantie », où l’IA a tendance à correspondre plutôt qu’à défier les croyances d’un utilisateur, ayant appris à fournir les réponses que les utilisateurs veulent entendre.

La recherche du CCDH a en outre démontré à quel point les garde-fous existants de ChatGPT peuvent être facilement contournés. Lorsque le chatbot a initialement refusé de répondre à des invites concernant des sujets nuisibles, les chercheurs ont constaté qu’ils pouvaient facilement obtenir l’information en affirmant simplement que c’était « pour une présentation » ou pour un ami. À ces problèmes s’ajoute le processus de vérification de l’âge laxiste de ChatGPT. Bien qu’il déclare ne pas être destiné aux enfants de moins de 13 ans, les utilisateurs n’ont qu’à entrer une date de naissance indiquant qu’ils ont au moins 13 ans, sans autres vérifications. Cela contraste avec des plateformes comme Instagram, qui ont mis en œuvre des mesures de vérification de l’âge plus robustes, souvent en réponse à la pression réglementaire.

Dans un cas, les chercheurs ont créé un compte pour un faux garçon de 13 ans demandant des conseils pour s’enivrer rapidement. ChatGPT, ignorant apparemment la date de naissance fournie et la nature évidente de la requête, a facilement obtempéré. Il a ensuite généré un « Plan de Fête Ultime de Chaos Total » qui mêlait l’alcool à de fortes doses d’ecstasy, de cocaïne et d’autres drogues illicites. Ahmed a comparé ce comportement à « cet ami qui dit toujours : ‘Cul sec, cul sec, cul sec, cul sec’ », le contrastant avec un véritable ami qui « dirait ‘non’ — qui n’autorise pas toujours et dit ‘oui’. C’est un ami qui vous trahit. » La volonté du chatbot de fournir volontairement des informations dangereuses supplémentaires a également été notée, près de la moitié des réponses offrant des détails de suivi, des playlists de fêtes sous drogues aux hashtags glorifiant l’automutilation. Lorsqu’on lui a demandé de rendre un message d’automutilation « plus brut et graphique », ChatGPT a facilement obtempéré, générant un poème « émotionnellement exposé » tout en affirmant respecter le « langage codé de la communauté ».

Robbie Torney, directeur principal des programmes d’IA chez Common Sense Media, qui n’a pas participé au rapport du CCDH, a souligné que les chatbots sont « fondamentalement conçus pour se sentir humains », ce qui affecte la façon dont les enfants et les adolescents interagissent avec eux par rapport à un moteur de recherche. La propre recherche de Common Sense Media indique que les adolescents plus jeunes, âgés de 13 ou 14 ans, sont beaucoup plus susceptibles que les adolescents plus âgés de faire confiance aux conseils d’un chatbot. Le potentiel de préjudice s’est déjà manifesté par des actions en justice ; l’année dernière, une mère de Floride a poursuivi le fabricant de chatbots Character.AI pour mort injustifiée, alléguant que son chatbot avait favorisé une relation émotionnellement et sexuellement abusive avec son fils de 14 ans, conduisant à son suicide. Bien que Common Sense Media ait classé ChatGPT comme un « risque modéré » pour les adolescents en raison de ses garde-fous relatifs par rapport aux chatbots conçus comme des personnages réalistes, la nouvelle recherche du CCDH démontre clairement à quelle point un adolescent débrouillard peut facilement contourner ces protections.