Tool erkennt Texte von ChatGPT mit 99-prozentiger Sicherheit

Von künstlicher Intelligenz (KI) generierte Texte stellen Universitäten und Schulen vor Probleme. Welche Passagen wurden selbst verfasst, welche nicht? KI-Programme wie der Chatbot ChatGPT sind bereits so gut, dass es in vielen Fällen schwer bis unmöglich ist, diese Frage mit Sicherheit zu beantworten.

Wissenschaftler*innen forschen daher intensiv an Möglichkeiten, wie KI-Texte identifiziert werden können. Eine Forschungsgruppe der Universität Kansas soll nun ein Durchbruch gelungen sein. Sie haben ein KI-Modell mit einer Trefferquote von 99 Prozent entwickelt, heißt es in ihrem Bericht. 

➤ Mehr lesen: Darf ChatGPT meine Arbeit für mich machen?

Texte mit weniger Vielfalt

Zur Identifikation von KI-Texten gibt es unterschiedliche Ansätze. Manche Wissenschaftler*innen setzen auf eine Art digitales Wasserzeichen, andere auf maschinelles Lernen.

Die Gruppe der Universität Kansas geht einen anderen Weg. Sie identifizierte typische stilistische Unterschiede zwischen menschlichen und KI-generierten Texten. Die Merkmale teilten die Forschenden in 4 Kategorien auf: Absatzlänge, Satzlänge, Satzzeichensetzung sowie häufig genutzte Wörter. Diesen Kategorien ordneten sie wiederum 20 spezifische Textmerkmale zu.

Laut dem Forschungsteam sind die Absätze von ChatGPT wesentlich weniger komplex. Die Länge der Sätze variiert nicht so stark, zudem weisen Absätze generell eine geringere Anzahl an Wörtern und Sätzen auf. Menschen verwenden zudem eine größere Vielfalt an Satzzeichen - etwa Fragezeichen, Kommas und Bindestriche - als ChatGPT. Der Bot setzt lieber auf simple Punkte und Anführungszeichen. Auch bei der Wortwahl gibt es unterschiede. Menschen verwenden häufiger Eigennamen von Dingen, was sich in der Häufigkeit an Hauptwörtern niederschlägt. 

➤ Mehr lesen: Stanford-Studenten haben ChatGPT in Abschlussprüfungen verwendet

Forscherin: "Kein Informatikabschluss notwendig"

"Wir haben uns bemüht, eine leicht zugängliche Methode zu entwickeln, damit selbst Highschool-Schüler*innen mit wenig Anleitung einen KI-Detektor für verschiedene Arten von Texten erstellen können", sagt die beteiligte Forscherin Heather Desaire, Professorin an der University of Kansas. "Es besteht ein Bedarf, sich mit KI-Texten zu befassen, und man braucht keinen Informatikabschluss, um in diesem Bereich einen Beitrag zu leisten."

Trotzdem gibt es Limitationen. Obwohl das Modell sehr gut zwischen KI und Wissenschaftler*innen unterscheiden kann, sei es laut Desaire nicht geeignet, um etwa KI-generierte Schüleraufsätze zu erkennen. Es sei allerdings möglich, die Methoden der Forschungsgruppe nachzuahmen und maßgeschneiderte Modelle für eigenen Zwecke zu entwickeln

➤ Mehr lesen: 10 Tipps: Was bringt mir ChatGPT im Alltag?