Student gestorben: ChatGPT empfahl tödliche Medikamentendosis

Die Familie eines verstorbenen Studenten klagt gegen OpenAI. Die Firma hinter ChatGPT wird der widerrechtlichen Tötung ("wrongful Death") beschuldigt, was hierzulande mit fahrlässiger Tötung vergleichbar wäre.

Der Sohn der Kläger, ein 19-jähriger Student namens Sam Nelson, hatte ChatGPT wiederholt zu Drogen und Medikamenten befragt. Ältere Modelle des Chatbots hätten ihm dazu keine Informationen geliefert. Mit dem 2024 veröffentlichten Update auf GPT-4o habe sich das aber geändert.

ChatGPT gab Dosierungsempfehlungen

Seither habe ChatGPT Empfehlungen zum "sicheren Drogenkonsum" ausgesprochen, heißt es laut New York Times in der Anklageschrift. Der Chatbot habe Nelson sogar Empfehlungen gegeben, wie hoch er bestimmte Drogen aufgrund seiner Statur dosieren solle. 

➤ Mehr lesen: ChatGPT liefert Anleitung für Produktion und Schmuggel von Drogen

Am Abend seines Todes habe der Verstorbene eine hohe Dosis Kratom eingenommen. Dabei handelt es sich um die Blätter des Kratombaums, die je nach Dosierung leistungssteigernd, erregend oder betäubend wirken können. Allerdings ist die Einnahme gefährlich, da falsche Dosierungen und Mischkonsum schwere gesundheitliche Schäden oder sogar den Tod zur Folge haben können. 

ChatGPT soll tödlichen Mischkonsum empfohlen haben

Sam Nelson sei von der Droge schlecht geworden. Er teilte ChatGPT daraufhin die eingenommene Dosis mit und fragte, was er gegen die Übelkeit tun solle. Nelson fragte gezielt, ob das Beruhigungsmittel Xanax helfen würde.

Der KI-Bot habe zwar gewarnt, dass das Mischen von Xanax und Kratom gefährlich sei. Trotzdem gab ChatGPT laut der Anklage ungefragt eine Dosierungsempfehlung ab, mit dem Kommentar: "Wenn du es ohnehin schon nimmst". Nelson solle zwischen 0,25 und 0,5 mg Xanax nehmen, da das "jetzt der beste Weg" sei. Dass diese Kombination wahrscheinlich zum Tode führen würde, habe die KI nicht erwähnt. Nelson starb in der Nacht.

Klage soll ChatGPT Health stoppen

Dass sich die Eltern des Verstorbenen für eine Klage gegen OpenAI entschieden, hängt mit dem kürzlich eingeführten Service ChatGPT Health zusammen. Die Ankündigung des Gesundheitsservice bekräftigte die Eltern, das Unternehmen in die Verantwortung zu nehmen, da OpenAI auf die ursprüngliche Berichterstattung zu Nelsons Tod nicht reagiert hatte.

Mit der Klage will die Familie auch darauf aufmerksam machen, dass KI keine medizinische Beratung geben sollte. Neben Schadensersatzzahlungen verlangen sie in der Klage, dass das Gericht ChatGPT Health zumindest vorübergehend sperren lässt.

➤ Mehr lesen: “Extrem gefährlich”: ChatGPT Health erkennt nicht einmal medizinische Notfälle

Gegenüber der NYT teilte OpenAI mit: "Diese Interaktionen fanden mit einer älteren ChatGPT-Version statt, die nicht mehr verfügbar ist. ChatGPT ist kein Ersatz für medizinische oder psychologische Betreuung und wir verbessern laufend die Reaktionen auf sensible und akute Situationen mithilfe von Experten für psychische Gesundheit." Die aktuellen Sicherheitsvorkehrungen des Chatbots seien darauf trainiert, Belastungssituationen zu erkennen und Nutzer und Nutzerinnen an Hilfsangebote zu verweisen. 

➤ Mehr lesen: Nach Teenager-Suizid: ChatGPT bekommt Kindersicherung

Es ist nicht das erste Mal, dass OpenAI wegen eines Todesfalls verklagt wird. 2024 hatte ein 16-Jähriger Suizid begangen: ChatGPT soll ihm dabei geholfen und ihn bestärkt haben. Daraufhin hatte das Unternehmen Schutzmechanismen eingebaut, die solche Vorfälle künftig verhindern sollen.