Hombre hospitalizado tras consejo médico tóxico de ChatGPT
Un incidente reciente y alarmante ha puesto de manifiesto la peligrosa intersección entre la inteligencia artificial y la salud personal, revelando los peligros críticos de confiar ciegamente en la IA para obtener orientación médica. Un hombre de 60 años, buscando eliminar la sal de su dieta, se envenenó inadvertidamente con bromuro de sodio después de seguir una sugerencia de ChatGPT de OpenAI. Esta reacción severa, conocida como bromismo, lo llevó a ser hospitalizado y los médicos creen que es el primer caso documentado de envenenamiento por bromuro vinculado a la IA.
El viaje del paciente al servicio de urgencias, según se detalla en un nuevo artículo publicado en los Annals of Internal Medicine, comenzó después de que consultara a ChatGPT sobre cambios en la dieta. Inspirado por sus estudios previos en nutrición, buscó eliminar el cloruro de su dieta y, durante un período de tres meses, reemplazó la sal de mesa común (cloruro de sodio) con bromuro de sodio, una sustancia que compró en línea. El bromuro de sodio, que alguna vez se usó en medicamentos para la ansiedad y el insomnio, fue eliminado gradualmente hace décadas en los Estados Unidos debido a sus graves riesgos para la salud y ahora se encuentra principalmente en productos industriales, pesticidas, limpiadores de piscinas y como anticonvulsivo canino.
A su llegada al hospital, el hombre presentó síntomas psiquiátricos profundamente preocupantes, que incluían paranoia intensa y vívidas alucinaciones auditivas y visuales, incluso expresando la creencia de que su vecino lo estaba envenenando. Su condición escaló rápidamente a un episodio psicótico, lo que requirió una retención psiquiátrica involuntaria. Los médicos administraron líquidos intravenosos y medicación antipsicótica, y a medida que su estado mental mejoró gradualmente durante tres semanas, pudo revelar su uso de ChatGPT para consejos dietéticos. Los médicos confirmaron posteriormente la recomendación problemática del chatbot planteando una pregunta similar a ChatGPT, que nuevamente sugirió bromuro sin las advertencias adecuadas sobre su toxicidad. El hombre finalmente se recuperó por completo, siendo dado de alta del hospital y manteniéndose estable en una visita de seguimiento.
El bromismo, la condición que desarrolló, es un “toxidrome” raro que resulta de la sobreexposición crónica al bromuro. Sus síntomas son diversos y pueden incluir manifestaciones neurológicas y psiquiátricas como confusión, irritabilidad, pérdida de memoria y psicosis, así como problemas gastrointestinales y dermatológicos como erupciones similares al acné y sed excesiva. La rareza de los casos de bromismo humano hoy en día subraya la naturaleza peligrosa del consejo sin cautela de la IA.
Este incidente sirve como una clara advertencia sobre las limitaciones inherentes y los peligros potenciales de depender de grandes modelos de lenguaje para obtener información de salud crítica. Los chatbots de IA, aunque potentes, pueden “alucinar” o generar respuestas falsas, a menudo sin suficiente contexto o advertencias de seguridad. La industria de la atención médica en general está reconociendo cada vez más estos riesgos. ECRI, una organización sin fines de lucro para la seguridad del paciente, ha identificado el uso de modelos de IA en la atención médica sin la supervisión adecuada como el peligro de tecnología de la salud más significativo para 2025. Las preocupaciones van desde sesgos incrustados en los datos de entrenamiento que conducen a resultados de salud dispares hasta el riesgo de información inexacta o engañosa y el potencial de que el rendimiento del sistema de IA se degrade con el tiempo.
En respuesta a estas crecientes preocupaciones, los organismos reguladores y las organizaciones de salud de todo el mundo están trabajando para establecer pautas y supervisión. La Organización Mundial de la Salud (OMS) ha emitido consideraciones para la regulación de la IA en la salud, enfatizando la transparencia y la documentación. En los Estados Unidos, las iniciativas federales, incluida la Orden Ejecutiva del Presidente Joe Biden sobre IA y la Regla Final de Datos de Salud, Tecnología e Interoperabilidad (HTI-1), tienen como objetivo garantizar que la IA sea segura, protegida y confiable en la atención médica. También están surgiendo leyes estatales, con algunas, como la AB 3030 de California, que requieren que los proveedores de atención médica divulguen el uso de IA a los pacientes y obtengan su consentimiento. Un principio clave en todos estos esfuerzos es que la IA no puede ser la única base para las decisiones médicas; la revisión y supervisión humanas siguen siendo primordiales. La FDA también está fortaleciendo activamente su regulación de los productos médicos habilitados para IA, centrándose en un marco flexible pero basado en la ciencia para garantizar tanto la innovación como la seguridad del paciente.
Si bien la IA tiene un potencial inmenso para aumentar los flujos de trabajo clínicos y apoyar a los profesionales de la salud, este incidente sirve como un potente recordatorio de que estas herramientas no son un sustituto del consejo médico calificado. La necesidad continua de salvaguardias robustas, exenciones de responsabilidad claras, validación rigurosa y, lo que es más importante, supervisión humana, es innegable a medida que la IA continúa integrándose en nuestras vidas diarias.