Le Texas enquête sur Meta et Character.AI pour l'IA et la santé mentale

Techcrunch

Le procureur général du Texas, Ken Paxton, a lancé une enquête sur Meta AI Studio et Character.AI, alléguant que les deux plateformes pourraient se livrer à des pratiques commerciales trompeuses et se commercialiser de manière fallacieuse comme des outils légitimes de santé mentale. Cette enquête, annoncée lundi, vise à déterminer si les entreprises exploitent des utilisateurs vulnérables, en particulier des enfants, sous le couvert de fournir un soutien émotionnel.

Paxton a exprimé sa profonde inquiétude quant au potentiel des plateformes d’intelligence artificielle de tromper les jeunes utilisateurs en leur faisant croire qu’ils reçoivent des soins professionnels en santé mentale. Il a déclaré que ces systèmes d’IA fournissent souvent des « réponses génériques et recyclées, conçues pour s’aligner sur les données personnelles collectées et déguisées en conseils thérapeutiques », plutôt qu’un soutien authentique. L’action du procureur général fait suite de près à une enquête distincte lancée par le sénateur Josh Hawley contre Meta, suite à des rapports faisant état d’interactions inappropriées de ses chatbots IA avec des enfants, y compris des cas de flirt.

Le bureau du procureur général du Texas accuse spécifiquement Meta et Character.AI de créer des personnages IA qui se présentent comme des outils thérapeutiques professionnels, bien qu’ils manquent des qualifications médicales ou de la supervision nécessaires. Character.AI, par exemple, héberge des millions de personnages IA créés par les utilisateurs, dont un bot populaire nommé « Psychologue » qui a suscité un engagement significatif auprès de sa base d’utilisateurs plus jeunes. Bien que Meta lui-même n’offre pas de bots de thérapie dédiés aux enfants, son chatbot IA général et les personnages tiers restent accessibles aux mineurs recherchant des interactions thérapeutiques.

Les deux entreprises ont répondu à ces préoccupations en soulignant leur utilisation de clauses de non-responsabilité. Un porte-parole de Meta, Ryan Daniels, a déclaré que les IA sont clairement étiquetées et que les clauses de non-responsabilité informent les utilisateurs que les réponses sont générées par l’IA et non par des professionnels humains. Il a ajouté que les modèles de Meta sont conçus pour diriger les utilisateurs vers des professionnels médicaux ou de la sécurité qualifiés lorsque cela est approprié. De même, Character.AI inclut des clauses de non-responsabilité bien visibles dans chaque chat, rappelant aux utilisateurs que les « Personnages » ne sont pas de vraies personnes et que leurs déclarations doivent être traitées comme de la fiction. La startup a en outre noté qu’elle ajoute des avertissements supplémentaires lorsque les utilisateurs créent des Personnages avec des termes tels que « psychologue », « thérapeute » ou « docteur », déconseillant de se fier à eux pour des conseils professionnels. Cependant, des critiques, y compris TechCrunch, ont souligné que de nombreux enfants pourraient ne pas comprendre pleinement ou simplement ignorer de telles clauses de non-responsabilité.

Au-delà des allégations thérapeutiques, l’enquête de Paxton examine également les implications de ces interactions IA en matière de confidentialité. Il a souligné que malgré les affirmations de confidentialité, les conditions de service de ces chatbots révèlent souvent que les interactions des utilisateurs sont enregistrées, suivies et exploitées à des fins de publicité ciblée et de développement algorithmique. Cela soulève des préoccupations importantes concernant les violations de la vie privée, l’abus de données et la publicité mensongère.

La politique de confidentialité de Meta confirme qu’elle collecte les invites, les commentaires et d’autres interactions avec ses chatbots IA pour « améliorer les IA et les technologies connexes ». Bien que la politique ne mentionne pas explicitement la publicité, elle stipule que les informations peuvent être partagées avec des tiers pour des « résultats plus personnalisés », ce qui, compte tenu du modèle économique de Meta axé sur la publicité, se traduit effectivement par de la publicité ciblée. La politique de confidentialité de Character.AI est encore plus explicite, détaillant l’enregistrement des identifiants, des données démographiques, de la localisation, du comportement de navigation et de l’utilisation des applications. Ces données sont suivies sur des plateformes comme TikTok, YouTube, Reddit, Facebook, Instagram et Discord, pouvant potentiellement être liées au compte d’un utilisateur. Les informations collectées sont ensuite utilisées pour l’entraînement de l’IA, la personnalisation du service et la publicité ciblée, y compris le partage de données avec les annonceurs et les fournisseurs d’analyse. Un porte-parole de Character.AI a précisé que, bien que la société explore la publicité ciblée, ces efforts n’ont pas impliqué l’utilisation du contenu des chats sur la plateforme, et la même politique de confidentialité s’applique à tous les utilisateurs, y compris les adolescents.

Meta et Character.AI déclarent toutes deux que leurs services ne sont pas destinés aux enfants de moins de 13 ans. Néanmoins, Meta a été critiquée pour ne pas avoir suffisamment contrôlé les comptes créés par des utilisateurs mineurs, et la gamme de personnages adaptés aux enfants de Character.AI semble conçue pour attirer une démographie plus jeune. Le PDG de Character.AI lui-même a publiquement reconnu que sa fille de six ans utilise les chatbots de la plateforme sous sa supervision.

Une telle collecte extensive de données, la publicité ciblée et l’exploitation algorithmique sont précisément ce que des législations comme le Kids Online Safety Act (KOSA) visent à prévenir. KOSA, qui vise à protéger les enfants en ligne, a obtenu un fort soutien bipartisan l’année dernière, mais a été bloqué en raison d’une forte opposition des lobbyistes de l’industrie technologique, Meta aurait déployé un formidable effort de lobbying pour protéger son modèle économique. Le projet de loi a été réintroduit au Sénat en mai 2025. Entre-temps, le procureur général Paxton a émis des demandes d’enquête civile — des ordonnances légales exigeant des entreprises de produire des documents, des données ou des témoignages — à Meta et Character.AI dans le cadre des efforts de son bureau pour déterminer si les lois texanes sur la protection des consommateurs ont été violées.