Mensch oder KI? "AI Detection Tools haben massive Schwierigkeiten"

Ein ganzer Aufsatz ist mithilfe des Chatbots ChatGPT in Sekunden geschrieben, das Service Midjourney generiert vermeintliches Familienfoto oder Renaissance-Gemälde ebenso schnell. Das eröffnet neue Möglichkeiten für Betrug und Desinformation. Kann man überhaupt noch erkennen, ob ein Mensch einen Text erdacht oder ein Bild gemalt hat – oder ob es in Wahrheit ein KI-System war?

➤ Mehr lesen: "Bitte" und "Danke" kosten ChatGPT mehrere Millionen Dollar

Tatsächlich ist das gar nicht so einfach, weder für Menschen noch für spezielle Software. Im Rahmen einer Schweizer Studie von 2023 sollten z. B. 697 Testpersonen einschätzen, ob kurze Twitter-Postings von einem Menschen geschrieben oder vom Sprachmodell GPT-3 generiert waren. Die Forscher kamen zu einem alarmierenden Schluss: Die Menschen lagen mit ihrer Einschätzung so oft falsch, dass sie genauso gut raten hätten können. 

Wettrüsten zwischen KI-Generatoren und Detektoren

Ähnlich sieht es bei Programmen aus, die KI-Inhalte erkennen soll: „AI Detection Tools für Text haben massive Schwierigkeiten und nicht akzeptable Erkennungsraten“, sagt Peter Purgathofer von der TU Wien. Das liegt daran, dass Generatoren und Detektoren auf ähnliche Weise funktionieren und sich laufend verändern.

 „Verbessert sich das eine, verbessert sich das andere, das ist wie eine Art Wettrüsten“, sagt Julia Krickl, Leiterin der Forschungsprojekte am Österreichischen Institut für angewandte Telekommunikation (ÖIAT). Dort wird derzeit in Zusammenarbeit mit dem Austrian Institute of Technology (AIT) ein eigenes Erkennungs-Werkzeug für KI-Bilder und -Videos entwickelt.

Online-Services

Online finden sich bereits viele kommerzielle Anbieter, die versprechen, KI-generierte Texte zu erkennen, zum Beispiel GPTZero oder Scribbr. Grundlegende Funktionen sind meist kostenlos, für eine genaue Analyse muss man meist ein Abo abschließen.

Gibt man bei einem solchen Service einen Text ein, berechnet es die Wahrscheinlichkeit, mit der das Geschriebene von einem Menschen stammt. Es vergleicht dafür den zu prüfenden Abschnitt mit einer großen Menge an Texten, die menschengemacht bzw. KI-generiert sind. Diese tendieren jeweils zu erkennbaren Mustern. Wenn Menschen schreiben, schleichen sich immer mal wieder Fehler oder Füllwörter ein. KI-generierte Inhalte sind oftmals auffällig strukturiert, mit Zwischenüberschriften oder nummerierten Listen, sagt Krickl. 

Nur Wahrscheinlichkeiten

Weil KI-Erkennungs-Programme mit statistischen Verfahren arbeiten, kann das Ergebnis ihrer Analyse jedoch nie „wahr“ oder „falsch“ sein. Denn anders als beispielsweise Plagiatsdetektoren, die Texte mit einem konkreten bestehenden Original abgleichen, können sie sich auf keine gesicherte Grundlage stützen.

 „Wir als Menschen haben sehr gerne eindeutige Antworten, das ist etwas, das KI-Tools generell nicht so gut leisten können“, erläutert die ÖIAT-Forschungsleiterin. Deshalb würden diese Detektoren immer nur Wahrscheinlichkeitswerte liefern. Wie zuverlässig das funktioniert, ist u. a. abhängig davon, wie viel Text man überprüfen will – je mehr, desto besser. Der Detektor gibt häufig auch an, woran es eine Einschätzung festmacht, z. B. bestimmte Satzkonstruktionen oder Formulierungen.

„Die höchste Zuverlässigkeit hat man, wenn man eine Idee davon hat, wie diese Person sonst schreibt. So konnte man immer schon, z. B. bei der Betreuung von Diplomarbeiten recht zuverlässig feststellen, ob etwas selbstgeschrieben oder kopiert war“, erläutert TU-Professor Purgathofer. Doch viele Menschen greifen mittlerweile auf KI-Systeme zurück, um Rechtschreibung, Grammatik oder Stil zu verbessern. Das kann dazu führen, dass die entsprechenden Texte wirken, als wären sie vollständig KI-generiert, obwohl eigentlich menschliche Arbeit dahintersteckt. 

Wasserzeichen

Eine Möglichkeit, die Erkennung von KI-Inhalten zu erleichtern, wäre das Einfügen von unsichtbaren Wasserzeichen. Die Sprachmodelle GPT-o3 und GPT-o4 betten Berichten zufolge seit kurzem unsichtbare Unicode-Zeichen ein, die Texte als KI-generiert entlarven können. Laut OpenAI, dem Hersteller von ChatGPT, waren diese aber nicht beabsichtigt, sondern eine unerwartete Eigenart des Modells.

➤ Mehr lesen: So entfernt man unsichtbare Wasserzeichen aus ChatGPT-Texten

Expertinnen und Experten sind ohnehin skeptisch, ob Wasserzeichen hier eine Lösung sein können. Denn nur wenn alle KI-Systeme sie einsetzen, sind sie als Erkennungsmerkmal effektiv. Doch gleichzeitig haben KI-Firmen wenig Interesse daran. Die Maßnahme könnte Nutzerinnen und Nutzer verschrecken, deren Texte oder Bilder dann als KI-generiert auffliegen könnten. Zudem wäre es denkbar, Wasserzeichen in KI-Inhalten mit geeigneten KI-Systemen wieder zu entfernen.

Bildartefakte

Für Bilder gibt es online ebenfalls schon zahlreiche KI-Erkennungs-Services, z. B. SightEngine oder AI or Not. Auch sie vergleichen das zu prüfende Bild mit einer Menge an menschengemachten und KI-generierten. „KI-Bildgeneratoren funktionieren ja so, dass sie versuchen vorherzusagen, welcher Pixel neben dem Pixel zuvor platziert werden sollte“, nutzen also statistische Verfahren, erklärt Krickl. Ein KI-generiertes Foto sei daher strukturell ganz anders aufgebaut als ein „echtes“.

Auf die Einschätzungen von KI-Erkennungs-Programmen kann man sich auch bei Bildern nicht immer verlassen. „Recht lustig ist, dass die Erkennung bei ganz generischen, symmetrischen Stockfotos nicht gut funktioniert. Denn die KI ist schon sehr gut darin, solche Bilder zu erzeugen“, sagt Krickl.

Fehlende Medienkompetenz

Manchmal lassen sich KI-Fotos aber auch leicht mit bloßem Auge als solche identifizieren. So wirken Finger und Hände oft unnatürlich, und Objekte im Hintergrund enthalten Fehler oder Wiederholungen. „Es gibt auch einen gewissen KI-Look. Gerade wenn Menschen generiert werden, wirken die fast ein bisschen comic-artig. Aber Bildgeneratoren werden auch immer besser“, meint die Expertin.

Ob nun ein Mensch oder eine KI einen Text oder ein Bild erzeugt hat, ist angesichts von Desinformation und Fake News im Internet ihrer Ansicht nach gar nicht die wichtigste Frage: „Ich glaube, wir verzetteln uns manchmal, wenn wir uns nur darauf konzentrieren, wie man KI erkennen kann. Das größte Problem ist fehlende Medienkompetenz, also zum Beispiel wie überprüfe ich, was richtig ist und was falsch, welchen Quellen kann ich vertrauen?“