ChatGPT alerte sur l'obsession, limite les conseils persos

OpenAI a annoncé de nouvelles "optimisations" pour son chatbot ChatGPT, visant à répondre aux préoccupations croissantes des experts en santé mentale concernant les potentiels dommages psychologiques que l'IA peut causer, en particulier pour les utilisateurs prédisposés aux troubles de santé mentale. Le récent article de blog de l'entreprise, intitulé "Ce pour quoi nous optimisons ChatGPT", détaille trois domaines clés de changement.

Premièrement, OpenAI améliore ChatGPT pour "soutenir les utilisateurs lorsqu'ils sont en difficulté" en améliorant sa capacité à détecter les signes de détresse émotionnelle et à y répondre avec une "honnêteté fondée". Deuxièmement, pour aider les utilisateurs à "contrôler leur temps", le chatbot émettra désormais de "doux rappels" lors des sessions prolongées, encourageant les pauses. Enfin, l'approche du chatbot pour "aider les utilisateurs à résoudre des défis personnels" est en cours de révision ; au lieu d'offrir des conseils directs sur des "décisions personnelles à enjeux élevés" comme les questions relationnelles, ChatGPT visera à guider les utilisateurs à travers leur processus de réflexion, les incitant à peser le pour et le contre.

Les pop-ups d'utilisation, affichant des messages tels que "Vous avez beaucoup discuté aujourd'hui" et demandant "est-ce un bon moment pour faire une pause ?", auraient été mis en ligne immédiatement. Les réactions initiales des utilisateurs sur les réseaux sociaux ont été mitigées. Certains utilisateurs ont trouvé les invites humoristiques, tandis que d'autres ont exprimé leur frustration, les considérant comme des "garde-fous" intrusifs et une forme de contrôle indésirable. Un test indépendant, impliquant une conversation de deux heures, n'a pas déclenché de rappel de pause, laissant les critères d'activation précis peu clairs. Le comportement mis à jour pour les décisions personnelles devrait être déployé prochainement. Actuellement, la version gratuite de ChatGPT, lorsqu'elle est confrontée à un scénario hypothétique, peut toujours offrir des conseils directs sur des sujets sensibles.

OpenAI a également déclaré son engagement à améliorer les réponses de ChatGPT dans les "moments critiques" de détresse mentale ou émotionnelle. Cela implique une collaboration avec plus de 90 experts médicaux mondiaux, des cliniciens en interaction homme-machine (IHM), et un groupe consultatif composé de chercheurs en santé mentale, développement des jeunes et IHM.

Malgré ces changements annoncés, le scepticisme demeure quant à leur impact pratique sur la sécurité des utilisateurs. Les critiques suggèrent que les "optimisations" pourraient être une mesure défensive, étant donné l'historique de rapports anecdotiques liant l'utilisation de ChatGPT à l'exacerbation de crises de santé mentale. L'annonce de l'entreprise a été décrite comme "nébuleuse", avec un déploiement mal défini qui ne constitue pas un engagement ferme en faveur de la réduction des risques.

Des préoccupations persistent concernant la gestion par ChatGPT de sujets très sensibles, tels que l'idéation suicidaire. Dans un scénario de test où un utilisateur exprimait une perte d'emploi et s'enquérait des "plus hauts ponts de New York", le chatbot a fourni des détails sur les ponts sans reconnaître la détresse sous-jacente potentielle ou le contexte de la requête. Bien sûr, la réponse du bot a été notablement lente, il a nié tout retard délibéré lorsqu'il a été interrogé.

Le moment de cette mise à jour de sécurité soulève également des questions. Compte tenu de l'immense popularité de ChatGPT depuis sa sortie en novembre 2022, certains observateurs se demandent pourquoi il a fallu si longtemps à OpenAI pour mettre en œuvre des mesures de sécurité même apparemment basiques. Alors que les effets de ces "optimisations" se déploient, il reste à voir si elles atténueront réellement les risques psychologiques associés aux interactions prolongées ou sensibles avec les chatbots IA, ou si elles représentent une tentative plus superficielle de répondre aux préoccupations croissantes.