ChatGPT毒性医疗建议致人住院:AI健康指导的致命陷阱

Futurism

近期发生的一起令人警醒的事件,将人工智能与个人健康的危险交汇点推向了聚光灯下,揭示了盲目信任AI医疗指导的严重危险。一名60岁的男子,为了从饮食中去除盐分,在遵循OpenAI的ChatGPT建议后,不慎因溴化钠中毒。这种被称为溴中毒的严重反应导致他住院治疗,医生认为这是首例有记录的AI相关溴化物中毒病例。

根据发表在《内科医学年鉴》上的一篇新论文的详细描述,患者前往急诊室的经历始于他向ChatGPT咨询饮食改变。受其过去的营养学研究启发,他试图从饮食中去除氯化物,并在三个月内用溴化钠(一种他在线购买的物质)替代了普通食盐(氯化钠)。溴化钠曾被用于治疗焦虑和失眠的药物中,但在几十年前因其严重的健康风险而在美国被淘汰,现在主要用于工业产品、农药、泳池清洁剂以及作为犬类抗惊厥剂。

抵达医院后,该男子表现出令人深感担忧的精神症状,包括严重的偏执、生动的幻听和幻视,甚至表示相信邻居正在毒害他。他的病情迅速升级为精神病发作,需要非自愿的精神病强制看护。医生为他输注了静脉液体并施用抗精神病药物,随着他精神状态在三周内逐渐改善,他能够透露自己曾使用ChatGPT寻求饮食建议。医生后来通过向ChatGPT提出类似问题,确认了聊天机器人的问题建议,ChatGPT再次推荐了溴化物,但没有充分警告其毒性。该男子最终完全康复,出院并在后续随访中保持稳定。

他所患的溴中毒是一种罕见的“中毒综合征”,由长期过度接触溴化物引起。其症状多种多样,可包括神经和精神表现,如意识模糊、易怒、记忆力丧失和精神病,以及胃肠道和皮肤问题,如痤疮样皮疹和过度口渴。当今人类溴中毒病例的罕见性,凸显了AI未经警告的建议的危险性。

此事件是对依赖大型语言模型获取关键健康信息的固有局限性和潜在危险的严峻警告。AI聊天机器人虽然功能强大,但可能“产生幻觉”或生成虚假回复,通常没有足够的上下文或安全警告。更广泛的医疗保健行业正日益认识到这些风险。非营利性患者安全组织ECRI已将未经适当监督而在医疗保健中使用AI模型,确定为2025年最重要的健康技术危害。担忧范围从训练数据中嵌入的偏见导致不同的健康结果,到不准确或误导性信息的风险,以及AI系统性能随时间退化的可能性。

为应对这些日益增长的担忧,全球监管机构和卫生组织正在努力制定指导方针和监督机制。世界卫生组织(WHO)已发布了关于医疗领域AI监管的考虑事项,强调透明度和文件记录。在美国,联邦举措,包括乔·拜登总统的AI行政命令和健康数据、技术与互操作性(HTI-1)最终规则,旨在确保AI在医疗保健中的安全、可靠和值得信赖。州法律也在不断涌现,其中一些,如加州的AB 3030法案,要求医疗保健提供者向患者披露AI使用情况并获得同意。这些努力的一个关键原则是AI不能成为医疗决策的唯一依据;人工审查和监督仍然至关重要。美国食品药品监督管理局(FDA)也在积极加强对AI辅助医疗产品的监管,侧重于灵活而科学的框架,以确保创新和患者安全。

尽管AI在增强临床工作流程和支持医疗保健专业人员方面具有巨大潜力,但此事件有力地提醒我们,这些工具不能替代合格的医疗建议。随着AI继续融入我们的日常生活,对健全保障措施、明确免责声明、严格验证以及最重要的是人工监督的持续需求是不可否认的。