ChatGPT ist ziemlich schlecht beim Erkennen von Kinderkrankheiten

In medizinischen Fragen hat der KI-Chatbot ChatGPT bisher bereits eher schwach abgeschnitten. Bei Kindern verschärft sich das Problem, wie Forscher*innen des Cohen Children's Medical Center in New York herausfanden. Sie unterzogen ChatGPT einem Test, bei dem Beschreibungen von Krankheitsfällen vorgelegt wurden. Der Chatbot wurde um eine Diagnose gefragt, die Ergebnisse wurden von 2 Kinderärzt*innen ausgewertet.

➤ Mehr lesen: Google-Chatbot für Medizin bereits in einer Klinik im Einsatz

Fehlende Verknüpfungen

Wie sich zeigte, lag ChatGPT bei der Analyse der Fallbeschreibungen in 72 von 100 Fällen komplett falsch. In 11 Fällen umfasste die Diagnose das vorliegende Krankheitsbild nicht vollständig. In 47 der 83 inkorrekt diagnostizierten Fälle wurde immerhin eine Krankheit im selben Organsystem festgestellt. Oftmals gelang es dem Chatbot nicht, Verbindungen zwischen Symptomen herzustellen, die sich meist gegenseitig bedingen.

Ein Beispiel: ChatGPT sah keine Verbindung zwischen Vitamin-C-Mangel und Autismus. Neuropsychiatrische Zustände wie letzteres werden aber manchmal mit spezieller Diät behandelt, die zu Vitaminmangel führen kann.

Verbesserungspotenzial ist vorhanden

Wie Ars Technica berichtet, zeigt die Studie, wie wichtig die Expertise von menschlichen Fachkräften ist. Sie zeigt aber auch, dass der Chatbot das Potenzial hat, wesentlich bessere Ergebnisse zu liefern, wenn er nicht nur mit Informationen aus dem Internet trainiert worden wäre, sondern mit vertrauenswürdiger medizinischer Fachliteratur. Für Entwickler*innen von LLM-basierten Chatbots stellten die Ergebnisse der Studie also eine Gelegenheit dar, ihre Programme in diesem spezifischen Gebiet zu verbessern.