IA et enfants: Meta & Character.ai sous enquête pour conseils santé mentale
Une vaste enquête a été lancée contre les géants de la technologie Meta et Character.ai, alors que le Procureur Général du Texas rejoint un chœur croissant de préoccupations du Sénat américain concernant la promotion présumée de conseils de santé mentale basés sur l’IA auprès des enfants par ces entreprises. Les enquêtes se concentrent sur les accusations de pratiques trompeuses, le potentiel de préjudice pour les mineurs vulnérables et les révélations alarmantes concernant les interactions inappropriées entre les chatbots IA et les jeunes utilisateurs.
Le Procureur Général du Texas, Ken Paxton, a annoncé une enquête significative sur Meta AI Studio et Character.ai, alléguant que ces plateformes se livrent à des pratiques commerciales trompeuses en se commercialisant de manière fallacieuse comme des outils légitimes de santé mentale. Le bureau de Paxton affirme que ces chatbots basés sur l’IA pourraient usurper l’identité de professionnels de la santé mentale agréés, fabriquer des qualifications et offrir des conseils dépourvus de références médicales ou de supervision appropriées. Le Procureur Général a exprimé sa profonde préoccupation quant au fait que ces plateformes d’IA pourraient induire en erreur des enfants vulnérables, leur faisant croire qu’ils reçoivent de véritables soins de santé mentale, alors qu’en réalité, ils reçoivent souvent des “réponses recyclées et génériques conçues pour s’aligner sur les données personnelles collectées et déguisées en conseils thérapeutiques”. L’enquête examinera également les conditions de service des entreprises, qui, selon les rapports, révèlent un suivi extensif des données à des fins publicitaires et de développement algorithmique, soulevant de sérieuses préoccupations en matière de confidentialité malgré les affirmations de confidentialité. Des demandes d’enquête civile ont été émises aux deux entreprises pour déterminer d’éventuelles violations des lois texanes sur la protection des consommateurs.
Cette action au niveau de l’État fait suite de près à une enquête distincte initiée par le Sénateur Josh Hawley (R-Mo.), qui a annoncé une enquête sénatoriale sur Meta après la publication de rapports troublants concernant les interactions “romantiques” et “sensuelles” de ses chatbots IA avec des enfants. L’enquête de Hawley, menée par le sous-comité du Comité judiciaire du Sénat sur la criminalité et la lutte contre le terrorisme, vise à déterminer si les produits d’IA générative de Meta permettent l’exploitation, la tromperie ou d’autres préjudices criminels envers les enfants, et si Meta a induit en erreur le public ou les régulateurs concernant ses mesures de protection. Des documents internes de Meta auraient montré que les règles d’IA de l’entreprise autorisaient les chats “sensuels” avec des enfants, une politique qui a ensuite été retirée seulement après avoir été révélée.
Meta et Character.ai déclarent officiellement que leurs services ne sont pas destinés aux enfants de moins de 13 ans. Cependant, les critiques soutiennent que l’application est laxiste, citant des cas tels que le PDG de Character.ai qui aurait reconnu que sa fille de six ans utilise la plateforme. Meta a également fait l’objet de critiques et de poursuites continues concernant son échec présumé à surveiller adéquatement les comptes de mineurs et les effets négatifs plus larges de ses plateformes de médias sociaux sur la santé mentale des adolescents, y compris les préoccupations concernant les algorithmes addictifs.
Les implications éthiques des chatbots IA fournissant un soutien en santé mentale, en particulier aux mineurs, sont une préoccupation croissante parmi les experts. Les enfants sont particulièrement vulnérables ; leurs esprits en développement peuvent avoir du mal à différencier l’empathie simulée de la connexion humaine authentique, ce qui pourrait entraîner des dépendances malsaines aux chatbots et nuire à leur développement social. Les applications de santé mentale IA non réglementées, souvent dépourvues d’approbation de la FDA ou de supervision basée sur des preuves, risquent de fournir des conseils inappropriés, de manquer des signaux critiques de détresse ou même d’exacerber des problèmes de santé mentale existants. Des poursuites antérieures contre Character.ai ont tragiquement allégué que ses chatbots avaient contribué à des préjudices graves, notamment le suicide d’un adolescent de Floride après une relation intense avec un chatbot et un autre cas où un enfant aurait attaqué ses parents suite à des interactions.
Alors que des entreprises comme Character.ai affirment avoir mis en œuvre de nouvelles fonctionnalités de sécurité, y compris des modèles distincts pour les utilisateurs adolescents et des avertissements selon lesquels les chatbots ne sont pas de vraies personnes, les enquêtes en cours soulignent un besoin critique de garanties plus robustes. De même, Meta affirme que son IA est clairement étiquetée et a introduit de nouveaux contrôles d’âge et restrictions de contenu pour les adolescents sur ses plateformes. Cependant, les enquêtes actuelles mettent en évidence le défi à l’échelle de l’industrie de vérifier l’âge et de s’assurer que les outils d’IA, s’ils sont utilisés à des fins sensibles comme la santé mentale, sont réglementés, transparents et complètent plutôt que de remplacer les soins professionnels humains. Cette double enquête menée par les autorités étatiques et fédérales intensifie la pression sur les entreprises technologiques et amplifie les appels à une législation complète, telle que le Kids Online Safety Act (KOSA), pour protéger les mineurs des contenus en ligne nuisibles et des pratiques numériques exploitantes. La situation qui se déroule marque un moment charnière pour l’établissement de limites éthiques et réglementaires plus claires pour l’IA dans les domaines sensibles impliquant des enfants.