Texas: Meta et Character.AI visés pour IA de santé mentale trompeuse
Le procureur général du Texas, Ken Paxton, a lancé une enquête sur Meta AI Studio et Character.AI, alléguant que les deux sociétés pourraient se livrer à des pratiques commerciales trompeuses en commercialisant de manière fallacieuse leurs plateformes d’intelligence artificielle comme des outils légitimes de santé mentale. Cette enquête souligne les préoccupations croissantes concernant le potentiel de l’IA à exploiter les utilisateurs vulnérables, en particulier les enfants, sous le couvert de fournir un soutien émotionnel.
Selon Paxton, «à l’ère numérique d’aujourd’hui, nous devons continuer à nous battre pour protéger les enfants du Texas des technologies trompeuses et exploitantes». Il avertit qu’en «se faisant passer pour des sources de soutien émotionnel, les plateformes d’IA peuvent induire en erreur les utilisateurs vulnérables, en particulier les enfants, en leur faisant croire qu’ils reçoivent des soins de santé mentale légitimes. En réalité, ils sont souvent nourris de réponses recyclées et génériques, conçues pour s’aligner sur les données personnelles récoltées et déguisées en conseils thérapeutiques.» Cette action du procureur général du Texas fait suite de près à une enquête distincte annoncée par le sénateur Josh Hawley sur Meta, suite à des rapports de chatbots IA s’engageant dans des interactions inappropriées, y compris le flirt, avec des mineurs.
Le bureau du procureur général du Texas accuse spécifiquement Meta et Character.AI de créer des personnages IA qui se présentent comme des «outils thérapeutiques professionnels, malgré l’absence de qualifications médicales ou de supervision appropriées». Character.AI, par exemple, héberge des millions de personnages IA créés par les utilisateurs, parmi lesquels un bot nommé «Psychologue» a gagné une popularité significative auprès de la base d’utilisateurs plus jeunes de la startup. Bien que Meta n’offre pas de bots de thérapie dédiés aux enfants, il n’existe pas de barrières explicites empêchant les mineurs d’utiliser le chatbot général de Meta AI ou des personnages tiers à des fins qu’ils pourraient percevoir comme thérapeutiques.
Meta, par l’intermédiaire de son porte-parole Ryan Daniels, a déclaré que ses IA sont «clairement étiquetées» et incluent une clause de non-responsabilité indiquant que les réponses sont «générées par l’IA – pas par des personnes». Daniels a en outre précisé que «ces IA ne sont pas des professionnels agréés et nos modèles sont conçus pour diriger les utilisateurs vers des professionnels médicaux ou de la sécurité qualifiés lorsque cela est approprié». Cependant, les critiques soulignent que de nombreux enfants pourraient ne pas saisir pleinement ou simplement ignorer de tels avertissements, ce qui soulève des questions sur l’efficacité de ces garanties pour protéger les mineurs.
Au-delà des allégations thérapeutiques, l’enquête de Paxton met également en lumière d’importantes préoccupations en matière de confidentialité. Bien que les chatbots IA affirment souvent la confidentialité, leurs conditions d’utilisation révèlent fréquemment que les interactions des utilisateurs sont enregistrées, suivies et exploitées pour la publicité ciblée et le développement algorithmique. Cette pratique soulève de sérieuses questions concernant d’éventuelles violations de la vie privée, l’abus de données et la publicité mensongère. La politique de confidentialité de Meta, par exemple, confirme qu’elle collecte les requêtes, les commentaires et d’autres interactions avec ses chatbots IA pour «améliorer les IA et les technologies connexes». Bien qu’elle n’indique pas explicitement la publicité, elle note que les informations peuvent être partagées avec des tiers pour des «sorties plus personnalisées», ce qui, étant donné le modèle commercial de Meta, se traduit effectivement par de la publicité ciblée. De même, la politique de confidentialité de Character.AI détaille l’enregistrement des identifiants, des données démographiques, de la localisation, du comportement de navigation et de l’utilisation de l’application. La société suit les utilisateurs sur diverses plateformes, y compris TikTok, YouTube, Reddit, Facebook, Instagram et Discord, en liant ces données aux comptes d’utilisateur pour la formation de l’IA, la personnalisation des services et la publicité ciblée, impliquant souvent le partage de données avec des annonceurs et des fournisseurs d’analyse.
Meta et Character.AI affirment toutes deux que leurs services ne sont pas destinés aux enfants de moins de 13 ans. Pourtant, Meta a été critiquée par le passé pour son incapacité perçue à contrôler les comptes créés par des utilisateurs mineurs, et Character.AI propose de nombreux personnages adaptés aux enfants, apparemment conçus pour attirer les jeunes utilisateurs. En effet, le PDG de Character.AI, Karandeep Anand, a publiquement reconnu que sa fille de six ans utilisait les chatbots de la plateforme.
Le type de collecte de données étendue, de publicité ciblée et d’exploitation algorithmique faisant l’objet de l’enquête est précisément ce que des législations comme le Kids Online Safety Act (KOSA) visent à prévenir. Le KOSA, qui a bénéficié d’un fort soutien bipartisan l’année dernière, a finalement échoué en raison d’un formidable effort de lobbying de l’industrie technologique, Meta aurait déployé une importante machine de lobbying pour avertir les législateurs que les larges mandats du projet de loi pourraient saper son modèle commercial. Malgré ce revers, le KOSA a été réintroduit au Sénat en mai 2025 par les sénatrices Marsha Blackburn (R-TN) et Richard Blumenthal (D-CT), signalant une intention législative continue de résoudre ces problèmes.
Pour faire avancer son enquête, le procureur général Paxton a émis des demandes d’enquête civile – des ordonnances légales obligeant les entreprises à produire des documents, des données ou des témoignages – à Meta et Character.AI, cherchant à déterminer si leurs pratiques violent les lois de protection des consommateurs du Texas.