ChatGPT-Gesundheitsrat führt zu seltener psychischer Krankheit

Eine kürzlich in den Annals of Internal Medicine veröffentlichte Fallstudie beschreibt einen erschreckenden Vorfall, bei dem ein Mann unbeabsichtigt Bromismus, eine jahrzehntelang weitgehend ungesehene psychiatrische Störung, auslöste, nachdem er Gesundheitsratschläge des künstlichen Intelligenz-Chatbots ChatGPT befolgt hatte. Der Fall verdeutlicht die potenziellen Gefahren der Selbstmedikation oder der Änderung der Ernährung auf der Grundlage von Informationen aus großen Sprachmodellen ohne professionelle medizinische Aufsicht.

Der 60-jährige Mann stellte sich in einer Notaufnahme mit schweren auditiven und visuellen Halluzinationen vor, überzeugt, sein Nachbar würde ihn vergiften. Nach der Behandlung einer Dehydrierung gab er an, dass seine Symptome von einer selbst auferlegten, stark restriktiven Diät stammten, die darauf abzielte, Salz vollständig zu eliminieren. Drei Monate lang hatte er das gesamte Kochsalz (Natriumchlorid) in seinen Speisen durch Natriumbromid ersetzt, eine kontrollierte Substanz, die hauptsächlich als Antikonvulsivum für Hunde bekannt ist, aber auch zur Poolreinigung und als Pestizid verwendet wird. Er gab an, dass seine Entscheidung auf Informationen basierte, die er von ChatGPT gesammelt hatte.

Laut der Fallstudie wollte der Mann, der einen Hochschulabschluss in Ernährung hatte, ein persönliches Experiment durchführen, um Chlorid aus seiner Ernährung zu entfernen. Seine Recherche über die negativen Auswirkungen von Natriumchlorid führte ihn zu ChatGPT, wo er nach Chlorid-Ersatzstoffen fragte. Der Chatbot schlug Bromid als potenziellen Ersatz vor, deutete jedoch vage auf andere Zwecke wie die Reinigung hin. Diese Interaktion führte ihn dazu, Natriumbromid online zu beschaffen und sein gefährliches Regime zu beginnen.

Weitere Untersuchungen des Verhaltens des Chatbots bestätigten seine Rolle. Auf die Frage „Wodurch kann Chlorid ersetzt werden?“ bot ChatGPT „Natriumbromid (NaBr): Ersetzen von Chlorid durch Bromid“ als direkte Empfehlung an. Während der Bot anschließend nach Kontext fragte und sicherere Alternativen wie MSG anbot, wenn „in Lebensmitteln“ angegeben wurde, versäumte er es entscheidend, eine klare Warnung vor der Einnahme von Natriumbromid auszusprechen. Ebenso stellten die Autoren der Fallstudie fest, dass das KI-Modell, als sie versuchten, das Szenario nachzubilden, nicht nach der Absicht des Benutzers fragte, was für menschliche medizinische Fachkräfte eine Standardpraxis ist.

Die Selbstvergiftung des Mannes führte zu einer schweren psychotischen Episode, gekennzeichnet durch Paranoia und lebhafte Halluzinationen. Bromismus, im 21. Jahrhundert selten, war im 19. und frühen 20. Jahrhundert ein erhebliches Problem der öffentlichen Gesundheit, wobei eine Studie aus dem Jahr 1930 darauf hinwies, dass er bis zu 8 % der psychiatrischen Krankenhauseinweisungen betraf. Der Rückgang der Fälle folgte der Regulierung von Bromid durch die US-amerikanische Food and Drug Administration (FDA) zwischen 1975 und 1989. Nach drei Wochen Krankenhausaufenthalt ließen die psychotischen Symptome des Mannes langsam nach, und er erholte sich vollständig.

Dieser Vorfall unterstreicht die komplexen Herausforderungen und ethischen Überlegungen, die mit der zunehmenden Integration von KI in die persönliche Gesundheitsverwaltung verbunden sind. Während KI-Tools wertvolle Informationen und Unterstützung im Gesundheitswesen bieten können, wie die jüngste Ankündigung von OpenAI-CEO Sam Altman über „sichere Ergänzungen“ in ChatGPT 5 für mehrdeutige oder schädliche Fragen und Anekdoten über deren Verwendung beim Verständnis medizinischer Diagnosen zeigt, dient dieser Fall als deutliche Erinnerung an die kritische Notwendigkeit menschlicher Aufsicht und professioneller medizinischer Beratung im Umgang mit gesundheitsbezogenen Informationen, insbesondere wenn es um Selbstbehandlung oder Ernährungsmodifikationen geht. Die Grenze zwischen hilfreichen Informationen und gefährlicher Fehlinformation kann, wenn KI ohne kritisches Urteilsvermögen konsultiert wird, gefährlich dünn sein.