ChatGPT schummelt: Erfindet Quellen, die gar nicht existieren

Der kostenlose Chatbot ChatGPT sorgt seit einiger Zeit für Furore. Entwickelt von dem Unternehmen Open AI, liefert er teilweise verblüffend gute Antworten auf alle möglichen Fragen. Auch wir haben ihn getestet, unter anderem auch für eine Uni-Hausübung, die er binnen weniger Sekunden löste.

Allerdings wie plausibel sind diese Antworten und was macht der Chatbot, wenn man ihn nach den Quellen fragt? Teresa Kubacka, Data Scientist aus Zürich, hat das anhand ihres - sehr speziellen - PhD-Themas ausprobiert. Sie schrieb über Multiferroika aus der Physik. Das ist ein Sammelbegriff für alle Materialien, in denen zwei ferrioische Ordnungsphänomene parallel existieren.

Die Quellenangaben waren fake

Sie ließ ChatGPT einen Essay dazu schreiben und fragte den Chatbot danach mit einem Trick nach den Quellen (dabei musste sie dem Chatbot sagen, er solle so tun, als sei er Wissenschaftler). Die Quellenangaben, die das Programm dann ausspuckte, sah sich Kubacka im Anschluss näher an. Sie musste dabei feststellen, dass die Referenzen offenbar gar nicht existieren.

Einmal gab es zwar den Forschenden, der das Paper geschrieben haben soll, aber das wissenschaftliche Paper nicht. Ein anderes Mal gab es zwar einen ähnlichen Forschenden an einer Universität mit ähnlichem Namen, der aber ein völlig anderes Fach hatte. Bei wieder einer anderen Quelle gab es weder Forschenden, noch das referenzierte Paper.

Fehler nicht einmal für Expert*innen gleich erkennbar

Kubacka wiederholte das Experiment zu einem ähnlichen Thema, das allerdings noch etwas spezifischer war und musste erneut feststellen, dass „alles fake“ sei, was ChatGPT an wissenschaftlichen Quellen ausspuckte. „Ich verließ das Gespräch mit einem intensiven Gefühl der Unheimlichkeit: Ich erlebte gerade ein Paralleluniversum plausibel klingender, nicht existierender Phänomene, selbstbewusst gestützt durch Zitate zu nicht existierender Forschung“, schreibt die Datenwissenschaftlerin in einem Tweet.

Sie warnt davor, ChatGPT für sachliche, wissenschaftliche Informationen zu verwenden. „Es wird unglaublich plausibel klingende Halluzinationen erzeugen. Und selbst ein*e qualifizierte*r Expert*in wird Schwierigkeiten haben, den Fehler zu lokalisieren“, sagt sie. Man müsse sich auch fragen, was dies für die Gesellschaft bedeute. „Wissenschaftler*innen mögen vorsichtig genug sein, so ein Werkzeug nicht zu verwenden oder es spontan zu korrigieren, aber selbst wenn sie Expert*innen sind, keiner kann alles wissen“, so Kubacka.

Game Changer für Unis?

Andere Wissenschaftler*innen sind sich nicht ganz so sicher, dass keine Forschenden auf ChatGPT zurückgreifen werden. Robert Lepenies, Universitätspräsident und Professor an der Karlshochschule in Deutschland, warnt deshalb auf Twitter davor, an Hochschulen, FHs und Unis ChatGPT nicht ernstzunehmen. „Grundlegend kann kein studentischer Essay auf Bachelor- oder Masterniveau mehr von einer maschinell erstellten Arbeit unterschieden werden. Quite revolutionary“, schreibt Lepenies. Er rechnet damit, dass Studierende den Chatbot früher oder später - wie auch wir in unserem Test - alle für ihre Hausaufgaben einsetzen werden. Und er rechnet damit, dass dadurch viele Prüfungsformen undenkbar werden.

Vor allem in der qualitativen Sozialforschung soll es kaum mehr möglich sein, die Antworten des Chatbots von Studierenden zu unterscheiden, so der Hochschulprofessor. Der Chatbot würde für die Studierenden daher eine „gewaltige Erleichterung“ bedeuten. 

Gleichzeitig würde die Nutzung auch dazu führen, dass die Studierenden verlernen werden, sich präzise schriftlich auszudrücken, so Lepenies. Er fürchtet, dass man dadurch sogar das Nachdenken verlernen könnte.

Doch das Beispiel von Kubacka zeigt, dass es äußerst gefährlich wäre, sich auf die Informationen des Chatprogramms zu verlassen. Offenbar hat die KI nämlich auch bereits das „Schummeln“ gelernt.

Generell ist noch anzumerken, dass die Entwickler*innen von ChatGPT selbst angeben, dass der Chatbot "partiell fehlerhafte Informationen" generieren könne. Mit dieser Angabe müsste man dann im Umkehrschluss allerdings praktisch jede ausgespuckte Information anzweifeln und extra überprüfen.