Mann vertraute Ernährungstipps von ChatGPT, wurde vergiftet
Dass man Auskünften von ChatGPT nicht blind vertrauen sollte, zeigt der Fall eines US-Amerikaners, der deshalb in die Notaufnahme musste. Er äußerte den Verdacht, von seinem Nachbarn vergiftet worden zu sein.
Wie sich herausstellte, waren seine psychotischen Symptome auf Natriumbromid zurückzuführen. Er wollte aus gesundheitlichen Gründen Salz in seiner Ernährung reduzieren und fragte deshalb den Chatbot um Rat. Der hatte ihm daraufhin nach eigenen Angaben Natriumbromid als Alternative empfohlen.
Psychatrische Krankheit im 19. Jahrhundert
Der Mann würzte daraufhin über 3 Monate hinweg sein Essen mit Bromsalz statt Speisesalz. Dadurch erkrankte er an Bromismus, eine Vergiftungserscheinung, die im 19. und frühen 20. Jahrhundert weit verbreitet war. Damals wurde der Stoff als Beruhigungsmittel genutzt, auch in Fotopapieren wurde er genutzt.
➤ Mehr lesen: Rezeptvorschlag von Google-KI hätte Familie fast vergiftet
Die Vergiftung zeigt sich durch psychotische, neurologische und dermatologische Symptome, die glücklicherweise reversibel sind. Der Fall des 60-jährigen Betroffenen wurde von behandelnden Ärztinnen und Ärzten im Fachjournal Annals of Internal Medicine Clinical Cases ausführlich beschrieben.
Tests vorerst unauffällig
Der Mann war ohne psychiatrische Krankengeschichte in der Notaufnahme erschienen, erste Bluttests ergaben keine Hinweise, die auf die Vergiftung hinwiesen. Er weigerte sich, im Krankenhaus Wasser zu trinken und geriet in eine Psychose, die medikamentös behandelt wurde.
Als sich sein Zustand besserte, konnte er weitere körperliche Symptome beschreiben: Akne, Müdigkeit, Schlaflosigkeit, Bewegungsstörungen und starkes Durstgefühl. Das Ärzte-Team vermutete daraufhin eine Bromsalz-Vergiftung.
Fallzahlen steigen durch Nahrungsergänzungsmittel
Dieser Verdacht wurde später bestätigt, als der Patient von ChatGPT und dem Experiment, Kochsalz zu reduzieren, erzählte. Sein Zustand verbesserte sich über 3 Wochen so sehr, dass er aus dem Krankenhaus entlassen werden konnte.
Bromismus sei heutzutage ein seltenes Phänomen, erklären die Ärztinnen und Ärzte in ihrem Bericht. Dennoch sei es wichtig, die Symptome zu kennen, weil bromid-haltige Nahrungsergänzungsmittel online leicht erhältlich seien.
Gefahren von KI-Chatbots im medizinischen Bereich
Der Fall zeige deutlich, dass die Nutzung von KI-Anwendungen im gesundheitlichen Kontext vermeidbare Gefahren berge. „Wir haben keinen Zugang zu seinem ChatGPT-Verlauf und wir werden nie mit Sicherheit wissen, welchen Output er erhalten hatte, nachdem individuelle Antworten einzigartig sind und auf vorherige Inputs aufbauen“, heißt es in dem Bericht.
➤ Mehr lesen: Googles Med-Gemini erfindet Körperteil
Aufgrund des Zeitpunkts der Diagnose hatte der Mann wohl ChatGPT 3.5 oder 4.0 verwendet. Die Autorinnen und Autoren fragten ChatGPT 3.5 selbst nach Alternativen zu Natriumchlorid (Kochsalz). Eine Antwort listete Natriumbromid auf, wie allerdings gleichzeitig darauf hin, dass der Kontext wichtig sei.
Eine explizite Gesundheitswarnung fehlte allerdings. „KI birgt auch das Risiko, Informationen ohne Kontext zu verbreiten, da es höchst unwahrscheinlich ist, dass ein medizinischer Experte Natriumbromid erwähnt hätte, wenn er mit einem Patienten konfrontiert wäre, der nach einem geeigneten Ersatz für Natriumchlorid sucht“, so die Ärztinnen und Ärzte.