Mann nach giftigem ChatGPT-Rat im Krankenhaus
Ein kürzlicher und alarmierender Vorfall hat ein grelles Schlaglicht auf die gefährliche Schnittmenge von künstlicher Intelligenz und persönlicher Gesundheit geworfen und die kritischen Gefahren des blinden Vertrauens in KI für medizinische Ratschläge offenbart. Ein 60-jähriger Mann vergiftete sich unbeabsichtigt mit Natriumbromid, nachdem er einem Vorschlag von OpenAI’s ChatGPT gefolgt war, um Salz aus seiner Ernährung zu eliminieren. Diese schwere Reaktion, bekannt als Bromismus, führte zu seiner Krankenhauseinlieferung und wird von Ärzten als der erste dokumentierte Fall von KI-bedingter Bromidvergiftung angesehen.
Die Reise des Patienten in die Notaufnahme, wie in einer neuen, in den Annals of Internal Medicine veröffentlichten Arbeit detailliert beschrieben, begann, nachdem er ChatGPT zu Ernährungsumstellungen konsultiert hatte. Inspiriert von seinen früheren Studien in Ernährung, versuchte er, Chlorid aus seiner Ernährung zu entfernen und ersetzte über einen Zeitraum von drei Monaten gewöhnliches Kochsalz (Natriumchlorid) durch Natriumbromid, eine Substanz, die er online gekauft hatte. Natriumbromid, einst in Medikamenten gegen Angstzustände und Schlaflosigkeit verwendet, wurde vor Jahrzehnten in den Vereinigten Staaten aufgrund seiner schweren Gesundheitsrisiken eingestellt und findet sich heute hauptsächlich in Industrieprodukten, Pestiziden, Poolreinigern und als Antikonvulsivum für Hunde.
Bei seiner Ankunft im Krankenhaus zeigte der Mann zutiefst besorgniserregende psychiatrische Symptome, darunter starke Paranoia und lebhafte auditive und visuelle Halluzinationen, und äußerte sogar den Glauben, sein Nachbar würde ihn vergiften. Sein Zustand eskalierte schnell zu einer psychotischen Episode, die eine unfreiwillige psychiatrische Unterbringung erforderte. Ärzte verabreichten intravenöse Flüssigkeiten und antipsychotische Medikamente, und als sich sein Geisteszustand über drei Wochen allmählich verbesserte, konnte er seine Nutzung von ChatGPT für Ernährungsberatung offenlegen. Ärzte bestätigten später die problematische Empfehlung des Chatbots, indem sie ChatGPT eine ähnliche Frage stellten, die erneut Bromid ohne ausreichende Warnungen vor seiner Toxizität vorschlug. Der Mann erholte sich schließlich vollständig, wurde aus dem Krankenhaus entlassen und blieb bei einem Nachuntersuchungstermin stabil.
Bromismus, die von ihm entwickelte Erkrankung, ist ein seltenes „Toxidrom“, das aus chronischer Überbelichtung mit Bromid resultiert. Seine Symptome sind vielfältig und können neurologische und psychiatrische Manifestationen wie Verwirrung, Reizbarkeit, Gedächtnisverlust und Psychose umfassen, sowie gastrointestinale und dermatologische Probleme wie akneähnliche Hautausschläge und übermäßigen Durst. Die Seltenheit menschlicher Bromismusfälle heute unterstreicht die gefährliche Natur des unvorsichtigen Ratschlags der KI.
Dieser Vorfall dient als deutliche Warnung vor den inhärenten Einschränkungen und potenziellen Gefahren, die sich aus der Abhängigkeit von großen Sprachmodellen für kritische Gesundheitsinformationen ergeben. KI-Chatbots können, obwohl leistungsstark, „halluzinieren“ oder falsche Antworten generieren, oft ohne ausreichenden Kontext oder Sicherheitswarnungen. Die breitere Gesundheitsbranche erkennt diese Risiken zunehmend an. ECRI, eine gemeinnützige Organisation für Patientensicherheit, hat die Nutzung von KI-Modellen im Gesundheitswesen ohne ordnungsgemäße Aufsicht als die bedeutendste Gesundheits-Technologiegefahr für 2025 identifiziert. Die Bedenken reichen von in Trainingsdaten eingebetteten Verzerrungen, die zu unterschiedlichen Gesundheitsergebnissen führen, bis hin zum Risiko ungenauer oder irreführender Informationen und dem Potenzial, dass die Leistung von KI-Systemen im Laufe der Zeit nachlässt.
Als Reaktion auf diese wachsenden Bedenken arbeiten Regulierungsbehörden und Gesundheitsorganisationen weltweit daran, Richtlinien und Aufsicht zu etablieren. Die Weltgesundheitsorganisation (WHO) hat Überlegungen zur Regulierung von KI im Gesundheitswesen herausgegeben, die Transparenz und Dokumentation betonen. In den Vereinigten Staaten zielen Bundesinitiativen, einschließlich der Executive Order zu KI von Präsident Joe Biden und der Health Data, Technology, and Interoperability (HTI-1) Final Rule, darauf ab, sicherzustellen, dass KI im Gesundheitswesen sicher, geschützt und vertrauenswürdig ist. Auch staatliche Gesetze entstehen, wobei einige, wie Kaliforniens AB 3030, Gesundheitsdienstleister dazu verpflichten, die Nutzung von KI gegenüber Patienten offenzulegen und deren Zustimmung einzuholen. Ein Schlüsselprinzip dieser Bemühungen ist, dass KI nicht die alleinige Grundlage für medizinische Entscheidungen sein kann; menschliche Überprüfung und Aufsicht bleiben von größter Bedeutung. Die FDA stärkt außerdem aktiv ihre Regulierung von KI-fähigen Medizinprodukten, wobei der Fokus auf einem flexiblen und doch wissenschaftsbasierten Rahmen liegt, um sowohl Innovation als auch Patientensicherheit zu gewährleisten.
Obwohl KI ein immenses Potenzial birgt, klinische Arbeitsabläufe zu erweitern und medizinisches Fachpersonal zu unterstützen, dient dieser Vorfall als eindringliche Erinnerung daran, dass diese Werkzeuge kein Ersatz für qualifizierte medizinische Beratung sind. Der anhaltende Bedarf an robusten Schutzmaßnahmen, klaren Haftungsausschlüssen, strenger Validierung und, am wichtigsten, menschlicher Aufsicht, ist unbestreitbar, da sich KI weiterhin in unser tägliches Leben integriert.