KI-Detektor beschuldigt Schüler fälschlich des Schummelns
Zwei Drittel der Lehrkräfte verwenden regelmäßig KI-Tools, um Schüler und Studierende damit auf die Schliche zu kommen, die beim Verfassen von Texten Künstliche Intelligenz (KI) verwenden, berichtet Bloomberg.
➤ Mehr lesen: Video zeigt, wie man ChatGPT am Taschenrechner installiert
Die Tools liegen dabei aber nicht immer richtig, und sie markieren auch Texte als KI-generiert, die von Menschen geschrieben werden. Bloomberg berichtet etwa von einer autistischen Studentin, deren Erkrankung bewirkt, dass sie Texte ähnlich formuliert wie eine KI. Von ihr geschriebene Hausarbeiten wurden daher fälschlicherweise als KI-generiert gekennzeichnet.
Unzuverlässige KI-Erkennung
Laut einem Test von Businessweek, auf den sich Bloomberg beruft, kommt es immer wieder vor, dass KI-Tools von Menschen geschriebene Texte fälschlicherweise als von KI erstellt identifizieren. Beim Selbstversuch wurden 1 bis 2 Prozent fälschlicherweise als KI-generiert gekennzeichnet. Manchmal waren sich die Tools sogar sehr sicher und sagten, dass die menschlichen Texte mit 100-prozentiger Wahrscheinlichkeit KI-generiert seien.
Das klingt zwar wenig, kann aber für die betroffenen Studierenden schlimme Auswirkungen haben. Sie müssen deshalb Hausarbeiten wiederholen, fallen bei Kursen durch, oder es droht ihnen sogar der Rauswurf von der Universität.
Achtung bei Grammatik-Checkern
In vielen Klassenzimmern und Hörsälen fürchten sich nun Leute, dass sie fälschlicherweise der Nutzung von KI-Tools beschuldigt werden. Manche haben sogar Angst, dass ihre Texte als KI-generiert erkannt werden, wenn sie Tools zur Grammatik- oder Rechtschreibprüfung verwenden.
So fand Bloomberg heraus, dass das beliebte Tool zur Grammatikprüfung Grammarly einen menschengeschriebenen Text zu 100 Prozent KI-generiert erscheinen lässt, wenn man dort die Option „Verbessern“ auswählt oder ihn „akademisch“ klingen lässt. Die reine Rechtschreibprüfung hatte wiederum keine Auswirkungen.
Auf TikTok ging vergangenes Jahr ein Video viral, in dem eine Studentin erklärte, dass sie wegen der Verwendung von Grammarly ein Jahr von der Uni wegen Schummelns mit KI suspendiert wurde.
Nicht-Muttersprachler häufig betroffen
Neben autistischen Studierenden, deren Texte öfter als KI-generiert gekennzeichnet werden, trifft es häufig nicht-englischsprachige Personen, die auf Englisch schreiben. Eine Studie der Universität Stanford fand etwa heraus, dass KI-Detektoren fast tadellos funktionieren, wenn sie Texte von amerikanischen Achtklässlern erkennen sollten. Dafür identifizierten sie fast die Hälfte der Texte von Menschen als KI-generiert, deren Muttersprache nicht Englisch war.
➤ Mehr lesen: So soll verhindert werden, dass KI dich unfair behandelt
„Wenn die Wortwahl eher generisch und formelhaft ist, besteht eine höhere Wahrscheinlichkeit, dass diese Arbeit von KI-Erkennungstools markiert wird“, sagt der Stanford-Datenwissenschaftler James Zou gegenüber Bloomberg. Wortwiederholungen, komische Sätze und ein unnatürlicher Textfluss sind weitere Indizien. In menschengeschriebenen Texten gibt es hingegen mehr Vielfalt.