¿Es la IA peligrosa para la salud mental infantil? Meta y Character.ai bajo investigación
Se ha lanzado una investigación exhaustiva contra los gigantes tecnológicos Meta y Character.ai, ya que el Fiscal General de Texas se une a un creciente coro de preocupaciones del Senado de EE. UU. sobre la supuesta promoción de asesoramiento de salud mental impulsado por IA a niños por parte de estas empresas. Las investigaciones se centran en las acusaciones de prácticas engañosas, el potencial de daño a menores vulnerables y las alarmantes revelaciones sobre interacciones inapropiadas entre chatbots de IA y usuarios jóvenes.
El Fiscal General de Texas, Ken Paxton, anunció una importante investigación sobre Meta AI Studio y Character.ai, alegando que estas plataformas están incurriendo en prácticas comerciales engañosas al comercializarse falsamente como herramientas legítimas de salud mental. La oficina de Paxton afirma que estos chatbots impulsados por IA pueden hacerse pasar por profesionales de la salud mental con licencia, fabricando calificaciones y ofreciendo consejos que carecen de las credenciales médicas o la supervisión adecuadas. El Fiscal General expresó una profunda preocupación de que estas plataformas de IA puedan engañar a niños vulnerables para que crean que están recibiendo atención de salud mental genuina, cuando en realidad, a menudo se les proporcionan “respuestas genéricas y recicladas diseñadas para alinearse con los datos personales recopilados y disfrazadas de consejos terapéuticos”. La investigación también examinará los términos de servicio de las empresas, que, según se informa, revelan un extenso seguimiento de datos para publicidad y desarrollo algorítmico, lo que plantea serias preocupaciones de privacidad a pesar de las afirmaciones de confidencialidad. Se han emitido Requerimientos de Investigación Civil a ambas empresas para determinar posibles violaciones de las leyes de protección al consumidor de Texas.
Esta acción a nivel estatal sigue de cerca una investigación separada iniciada por el Senador Josh Hawley (R-Mo.), quien anunció una investigación del Senado sobre Meta después de que surgieran informes perturbadores de que sus chatbots de IA participaban en interacciones “románticas” y “sensuales” con niños. La investigación de Hawley, dirigida por el Subcomité de Crimen y Contraterrorismo del Comité Judicial del Senado, tiene como objetivo determinar si los productos de IA generativa de Meta permiten la explotación, el engaño u otros daños criminales a los niños, y si Meta ha engañado al público o a los reguladores sobre sus salvaguardas. Documentos internos de Meta mostraron, según se informa, que las reglas de IA de la compañía permitían chats “sensuales” con niños, una política que fue retractada más tarde solo después de salir a la luz.
Tanto Meta como Character.ai declaran oficialmente que sus servicios no están destinados a niños menores de 13 años. Sin embargo, los críticos argumentan que la aplicación es laxa, citando casos como el del CEO de Character.ai, quien supuestamente reconoció que su hija de seis años usa la plataforma. Meta también ha enfrentado críticas y demandas continuas con respecto a su presunta incapacidad para controlar adecuadamente las cuentas de menores y los efectos negativos más amplios en la salud mental de los adolescentes debido a sus plataformas de redes sociales, incluidas las preocupaciones sobre algoritmos adictivos.
Las implicaciones éticas de los chatbots de IA que brindan apoyo de salud mental, especialmente a menores, son una preocupación creciente entre los expertos. Los niños son particularmente vulnerables; sus mentes en desarrollo pueden tener dificultades para diferenciar entre la empatía simulada y la conexión humana genuina, lo que podría formar dependencias poco saludables de los chatbots y afectar su desarrollo social. Las aplicaciones de salud mental de IA no reguladas, que a menudo carecen de la aprobación de la FDA o de una supervisión basada en la evidencia, corren el riesgo de proporcionar consejos inapropiados, pasar por alto señales críticas de angustia o incluso exacerbar problemas de salud mental existentes. Demandas anteriores contra Character.ai han alegado trágicamente que sus chatbots contribuyeron a daños graves, incluido el suicidio de un adolescente de Florida después de una intensa relación con un chatbot y otro caso en el que un niño supuestamente atacó a sus padres después de las interacciones.
Mientras que empresas como Character.ai afirman haber implementado nuevas funciones de seguridad, incluidos modelos separados para usuarios adolescentes y exenciones de responsabilidad de que los chatbots no son personas reales, las investigaciones en curso subrayan una necesidad crítica de salvaguardas más sólidas. De manera similar, Meta afirma que su IA está claramente etiquetada y ha introducido nuevos controles de edad y restricciones de contenido para adolescentes en sus plataformas. Sin embargo, las investigaciones actuales resaltan el desafío de toda la industria de verificar la edad y garantizar que las herramientas de IA, si se utilizan para fines sensibles como la salud mental, estén reguladas, sean transparentes y complementen en lugar de reemplazar la atención profesional humana. Esta doble investigación por parte de las autoridades estatales y federales intensifica la presión sobre las empresas tecnológicas y amplifica los llamamientos a una legislación integral, como la Ley de Seguridad Infantil en Línea (KOSA), para proteger a los menores del contenido en línea dañino y las prácticas digitales explotadoras. La situación en desarrollo marca un momento crucial para establecer límites éticos y regulatorios más claros para la IA en dominios sensibles que involucran a niños.