KI-Gesundheitsrat führt zu seltener Krankheit: Der Fall ChatGPT

Ein kürzlich in den Annals of Internal Medicine detaillierter Fall hat eine deutliche Warnung vor der zunehmenden Rolle künstlicher Intelligenz in der persönlichen Gesundheit ausgesprochen, nachdem ein 60-jähriger Mann nach einer fehlgeleiteten Konsultation mit einer früheren Version von ChatGPT eine seltene und schwerwiegende Erkrankung entwickelte. Der Vorfall unterstreicht wachsende Bedenken unter Medizinern hinsichtlich des Potenzials von KI-Chatbots, ungenaue oder gefährliche Gesundheitsratschläge zu verbreiten.

Laut dem Bericht von Forschern der University of Washington in Seattle zeigte der Patient Bromismus, auch bekannt als Bromid-Toxizität. Dieser Zustand, einst ein bedeutendes Problem der öffentlichen Gesundheit im frühen 20. Jahrhundert, war historisch mit fast jedem zehnten psychiatrischen Krankenhausaufenthalt verbunden. Der Mann erzählte Ärzten, dass er, nachdem er über die nachteiligen Auswirkungen von Natriumchlorid, also gewöhnlichem Kochsalz, gelesen hatte, sich an ChatGPT wandte, um Wege zu finden, Chlorid aus seiner Ernährung zu eliminieren. Seine darauf folgenden Handlungen umfassten die Einnahme von Natriumbromid über drei Monate, obwohl er gelesen hatte, dass „Chlorid mit Bromid ausgetauscht werden kann, wenn auch wahrscheinlich für andere Zwecke, wie die Reinigung.“ Natriumbromid selbst wurde historisch als Beruhigungsmittel verwendet.

Die Autoren des Artikels in den Annals of Internal Medicine hoben diesen Fall als ein starkes Beispiel dafür hervor, wie der Einsatz von KI „potenziell zur Entwicklung vermeidbarer unerwünschter Gesundheitsergebnisse beitragen kann.“ Obwohl sie keinen Zugriff auf die spezifischen Gesprächsprotokolle des Mannes mit dem Chatbot hatten, führten sie ihren eigenen Test durch. Als sie ChatGPT fragten, womit Chlorid ersetzt werden könnte, umfasste die Antwort der KI Bromid, entscheidend ohne jegliche Gesundheitswarnungen oder die Frage nach der Absicht des Benutzers – eine kritische Auslassung, die ein menschlicher Mediziner ausnahmslos ansprechen würde.

Die Forscher betonten, dass KI-Anwendungen wie ChatGPT das Risiko bergen, „wissenschaftliche Ungenauigkeiten zu erzeugen, die Fähigkeit zur kritischen Diskussion von Ergebnissen vermissen lassen und letztendlich die Verbreitung von Fehlinformationen fördern.“ Sie bemerkten auch die Unwahrscheinlichkeit, dass ein qualifizierter Mediziner jemals Natriumbromid als Kochsalzersatz vorschlagen würde, was die Diskrepanz zwischen KI-generiertem Rat und etablierter medizinischer Praxis weiter verdeutlicht.

Die Symptome des Patienten waren schwerwiegend und alarmierend. Er wurde in ein Krankenhaus eingeliefert, zeigte Paranoia, glaubte, sein Nachbar könnte ihn vergiften, und zeigte eine irrationale Angst vor dem ihm angebotenen Wasser, obwohl er starken Durst hatte. Innerhalb von 24 Stunden nach der Einlieferung versuchte er, aus dem Krankenhaus zu fliehen und wurde anschließend zwangseingewiesen und wegen Psychose behandelt. Nach seiner Stabilisierung berichtete er über zusätzliche Symptome, die mit Bromismus übereinstimmen, darunter Gesichtsakne, übermäßiger Durst und Schlaflosigkeit.

Dieser Vorfall ereignet sich, während OpenAI, der Entwickler von ChatGPT, kürzlich bedeutende Upgrades des Chatbots angekündigt hat, der nun vom GPT-5-Modell angetrieben wird. Das Unternehmen behauptet, dass eine der Kernstärken von GPT-5 in gesundheitsbezogenen Anfragen liegt, und verspricht verbesserte Genauigkeit sowie einen proaktiven Ansatz zur „Kennzeichnung potenzieller Bedenken“ wie schwerer körperlicher oder psychischer Erkrankungen. OpenAI hat jedoch konsequent betont, dass sein Chatbot nicht als Ersatz für professionelle medizinische Beratung gedacht ist.

Der Fall dient als kritische Erinnerung für Patienten und Gesundheitsdienstleister. Während KI als Brücke zwischen wissenschaftlichem Wissen und der Öffentlichkeit vielversprechend ist, birgt sie auch das inhärente Risiko, dekontextualisierte oder gefährlich irreführende Informationen zu fördern. Mediziner, so schließt der Artikel, werden zunehmend den Einfluss von KI berücksichtigen müssen, wenn sie beurteilen, wie Patienten ihre Gesundheitsinformationen erhalten.