Texas investiga a Meta y Character.AI por IA de salud mental engañosa
El Fiscal General de Texas, Ken Paxton, ha iniciado una investigación sobre Meta AI Studio y Character.AI, alegando que ambas plataformas podrían estar involucradas en prácticas comerciales engañosas y comercializándose de manera fraudulenta como herramientas legítimas de salud mental. Esta investigación, anunciada el lunes, busca determinar si las empresas están explotando a usuarios vulnerables, particularmente niños, bajo el pretexto de proporcionar apoyo emocional.
Paxton expresó una profunda preocupación por el potencial de las plataformas de inteligencia artificial para engañar a los usuarios jóvenes haciéndoles creer que están recibiendo atención profesional de salud mental. Afirmó que estos sistemas de IA a menudo entregan “respuestas recicladas y genéricas diseñadas para alinearse con datos personales recolectados y disfrazadas de consejos terapéuticos”, en lugar de un apoyo genuino. La acción del Fiscal General sigue de cerca una investigación separada lanzada por el Senador Josh Hawley contra Meta, provocada por informes de interacciones inapropiadas de sus chatbots de IA con niños, incluyendo instancias de coqueteo.
La oficina del Fiscal General de Texas acusa específicamente a Meta y Character.AI de crear personajes de IA que se presentan como herramientas terapéuticas profesionales, a pesar de carecer de las credenciales médicas o la supervisión necesarias. Character.AI, por ejemplo, alberga millones de personajes de IA creados por usuarios, incluyendo un popular bot llamado “Psicólogo” que ha tenido una participación significativa entre su base de usuarios más jóvenes. Si bien Meta no ofrece bots de terapia dedicados para niños, su chatbot de IA general y los personajes de terceros siguen siendo accesibles para menores que buscan interacciones terapéuticas.
Ambas compañías han respondido a estas preocupaciones enfatizando el uso de descargos de responsabilidad. Un portavoz de Meta, Ryan Daniels, declaró que las IA están claramente etiquetadas, y los descargos de responsabilidad informan a los usuarios que las respuestas son generadas por IA, no por profesionales humanos. Añadió que los modelos de Meta están diseñados para dirigir a los usuarios a profesionales médicos o de seguridad calificados cuando sea apropiado. De manera similar, Character.AI incluye descargos de responsabilidad prominentes en cada chat, recordando a los usuarios que los “Personajes” no son personas reales y sus declaraciones deben tratarse como ficción. La startup señaló además que agrega advertencias adicionales cuando los usuarios crean Personajes con términos como “psicólogo”, “terapeuta” o “doctor”, aconsejando no confiar en ellos para obtener asesoramiento profesional. Sin embargo, los críticos, incluido TechCrunch, han señalado que muchos niños pueden no comprender completamente o simplemente ignorar tales descargos de responsabilidad.
Más allá de las afirmaciones terapéuticas, la investigación de Paxton también examina las implicaciones de privacidad de estas interacciones de IA. Destacó que, a pesar de las afirmaciones de confidencialidad, los términos de servicio de estos chatbots a menudo revelan que las interacciones del usuario se registran, rastrean y explotan para publicidad dirigida y desarrollo algorítmico. Esto plantea preocupaciones significativas sobre violaciones de la privacidad, abuso de datos y publicidad falsa.
La política de privacidad de Meta confirma que recopila indicaciones, comentarios y otras interacciones con sus chatbots de IA para “mejorar las IA y la tecnología relacionada”. Si bien la política no menciona explícitamente la publicidad, sí establece que la información puede compartirse con terceros para “resultados más personalizados”, lo que, dado el modelo de negocio centrado en la publicidad de Meta, se traduce efectivamente en publicidad dirigida. La política de privacidad de Character.AI es aún más explícita, detallando el registro de identificadores, datos demográficos, ubicación, comportamiento de navegación y uso de la aplicación. Estos datos se rastrean en plataformas como TikTok, YouTube, Reddit, Facebook, Instagram y Discord, lo que podría vincularse a la cuenta de un usuario. La información recopilada se utiliza luego para el entrenamiento de IA, la personalización del servicio y la publicidad dirigida, incluyendo el intercambio de datos con anunciantes y proveedores de análisis. Un portavoz de Character.AI aclaró que, si bien la compañía está explorando la publicidad dirigida, estos esfuerzos no han implicado el uso del contenido de los chats en la plataforma, y la misma política de privacidad se aplica a todos los usuarios, incluidos los adolescentes.
Meta y Character.AI afirman que sus servicios no están destinados a niños menores de 13 años. Sin embargo, Meta ha sido criticada por no controlar adecuadamente las cuentas creadas por usuarios menores de edad, y la gama de personajes aptos para niños de Character.AI parece diseñada para atraer a un grupo demográfico más joven. El propio CEO de Character.AI ha reconocido públicamente que su hija de seis años utiliza los chatbots de la plataforma bajo su supervisión.
Tal recopilación extensiva de datos, publicidad dirigida y explotación algorítmica son precisamente lo que la legislación como la Ley de Seguridad Infantil en Línea (KOSA) está diseñada para prevenir. KOSA, que tiene como objetivo proteger a los niños en línea, obtuvo un fuerte apoyo bipartidista el año pasado, pero se estancó debido a una importante oposición de los grupos de presión de la industria tecnológica, y Meta, según se informa, desplegó un formidable esfuerzo de lobby para proteger su modelo de negocio. El proyecto de ley fue reintroducido en el Senado en mayo de 2025. Mientras tanto, el Fiscal General Paxton ha emitido solicitudes de investigación civil —órdenes legales que exigen a las empresas producir documentos, datos o testimonios— tanto a Meta como a Character.AI como parte de los esfuerzos de su oficina para determinar si se han violado las leyes de protección al consumidor de Texas.