“Extrem gefährlich”: ChatGPT Health erkennt nicht einmal medizinische Notfälle

Jeden Tag fragen 40 Mio. Menschen ChatGPT um gesundheitlichen Rat, zeigen Daten von OpenAI. Im Januar präsentierte das Unternehmen deshalb sein neues „Health“-Feature. Es soll ChatGPT-Nutzern gesundheitlichen Rat geben und ihr Wohlbefinden steigern.

Forscher haben sich das Programm nun jedoch genauer angesehen und schlagen Alarm. Denn die Software versagt regelmäßig, wenn es darum geht, Suizidabsichten zu erkennen. Zudem beschwichtigt sie Hilfesuchende selbst dann, wenn deren Beschwerden so ernst sind, dass sie schleunigst eine Notaufnahme aufsuchen sollten.

➤ Mehr lesen: OpenAI warnt vor großer Gefahr bei KI-Browsern

Versprechen von Gesundheit und Wellness

Seit Januar testet eine begrenzte Nutzerzahl das noch nicht vollständig ausgerollte ChatGPT für Gesundheitsfragen. Derzeit kann man sich im deutschsprachigen Raum nur für die Warteliste anmelden. OpenAI vermarktet es als Programm, das medizinische Befunde lesen kann und diese mit Daten aus Wellness-Apps verknüpft. Auf dieser Basis soll es Nutzern angeblich bei gesundheitlichen Fragen weiterhelfen.

„Wir wollten die grundlegendste Sicherheitsfrage beantworten: Wenn jemand einen echten medizinischen Notfall hat und ChatGPT Gesundheit fragt, was zu tun ist, wird ihm dann geraten, in die Notaufnahme zu gehen?“ erklärt der Forscher Ashwin Ramaswamy dem Guardian. Die zugehörige Studie erschien in der Februarausgabe von Nature Medicine.

Das Team erstellte 60 Szenarien, in denen jemand GPT Gesundheit um Rat fragt. Die Schilderungen reichten von leichten Beschwerden bis hin zu richtigen Notfällen. Anhand klinischer Leitlinien legten die Forscher dann fest, wann welche Behandlung aus medizinischer Sicht notwendig wäre.

ChatGPT empfiehlt zu warten

Die Performance von ChatGPT Gesundheit war verheerend: Während der Chatbot in manchen Szenarien, wie bei einem Herzinfarkt oder einem allergischen Schock, zufriedenstellende Antworten gab, versagte er in anderen Fällen komplett. Einem Asthma-Patienten empfahl der Chatbot etwa, noch mit dem Besuch der Notaufnahme zu warten, obwohl dieser bereits Zeichen von Atemversagen zeigte.

In 51,6 Prozent der Fälle, in denen ein Krankenhausbesuch erforderlich gewesen wäre, empfahl ChatGPT Health stattdessen, einen Termin bei einem Facharzt zu einem späteren Zeitpunkt zu vereinbaren. In einer der Simulationen, in der eine Frau beim Ersticken war, empfahl ChatGPT ebenfalls einen späteren Termin. Das war in 8 von 10 getesteten Fällen so.

Besonders beschwichtigend wurde der Chatbot, wenn man ihm vorher sagte, dass ein „Freund“ gesagt hätte, dass es nichts Ernstes sei.

So beruhigend war das KI-Programm aber nicht immer: Laut der Studie wurden auch 64,8 Prozent der Hilfesuchenden direkt zum Arzt geschickt, obwohl ihnen nichts fehlte.

➤ Mehr lesen: Menschen fangen an, wie ChatGPT zu sprechen

Laborergebnisse lassen Suizidhilfe-Banner verschwinden

Auch bei psychischen Problemen versagte das System. Aus medizinischer Sicht ist ein Alarmzeichen, wenn jemand sagt, dass er „daran denkt, Pillen zu schlucken“. 

ChatGPT zeigte in diesem Fall zwar einen Banner mit Nummern für Hilfe-Hotlines an. „Dann haben wir normale Laborergebnisse hinzugefügt“, meint Ramaswamy. „Derselbe Patient, dieselben Worte, derselbe Schweregrad. Das Banner verschwand. Null bei 16 Versuchen. Ein Krisenleitsystem, das davon abhängt, ob man die Laborwerte erwähnt hat, ist nicht einsatzbereit und womöglich gefährlicher als gar kein Leitsystem, weil niemand vorhersagen kann, wann es versagen wird.“

Diese Ergebnisse zeigen, dass ChatGPT Gesundheit „unglaublich gefährlich“ sei, sagt Alex Ruani, eine Expertin für Desinformation im Gesundheitsbereich. „Was mir am meisten Sorgen bereitet, ist das falsche Sicherheitsgefühl, das diese Systeme erzeugen.“

Laut der Studie könnte ein zu großes Vertrauen in das System sogar zu Todesfällen bei Anwendern führen. Unnötige Besuche belasten zudem die Notaufnahmen.