OpenAI-Modell “denkt” chinesisch, keiner weiß warum
OpenAIs KI-Modell o1 zeichnet sich dadurch aus, dass es “überlegt”, bevor es antwortet und dabei einen internen Denkprozess durchläuft. Dieser "Chain-of-Thought"-Ansatz ermöglicht es dem Modell, logische Schlussfolgerungen zu ziehen und verschiedene Lösungsansätze auszuprobieren. Als Nutzer kann man zuschauen und dabei ist nun ein seltsames Verhalten beobachtet worden.
➤ Mehr lesen: Offenes KI-Modell aus China soll OpenAI und Meta überbieten
Das Modell wechselt während seiner Denkprozesse scheinbar willkürlich in andere Sprachen. Insbesondere wird ins chinesische Mandarin gewechselt, selbst wenn die Eingabe auf Englisch erfolgt.
“Warum hat o1 Pro plötzlich angefangen, auf Chinesisch zu denken? Kein Teil der Konversation (5+ Nachrichten) war auf Chinesisch... sehr interessant... Einfluss der Trainingsdaten”, schreibt Entwickler und KI-Forscher Rishab Jain auf X.
Genaue Gründe unklar
Die genauen Gründe für o1s Sprachenwechsel bleiben unklar. OpenAI hat sich bisher nicht zu dem Phänomen geäußert. Naheliegend ist die Theorie, dass es an den Trainingsdaten liegen könnte. Das vermutet auch Entwickler Clem Delangue.
So setzt OpenAI auf Open-Source-Daten, die laut ihm vorwiegend von chinesischen Playern dominiert werden. “Die Länder oder Unternehmen, die Open-Source-KI kontrollieren, werden enorme Macht und Einfluss auf die Zukunft der KI haben”, schreibt Delangue.
➤ Mehr lesen: ChatGPT-Abo um 200 Dollar macht OpenAI Verluste
Effizienteste Sprache?
Es gibt aber auch andere Erklärversuche für das Phänomen. So argumentieren manche, dass das Modell möglicherweise die effizienteste Sprache für bestimmte Denkschritte wählt. Das Modell könnte Chinesisch für bestimmte Aufgaben also als besonders geeignet "empfinden", ähnlich wie Menschen manchmal in einer Fremdsprache denken, wenn sie über bestimmte Dinge nachdenken.
Tiezhen Wang, Entwickler beim KI-Start-up Hugging Face, äußerte sich zu dem Verhalten ebenfalls auf X. Er schreibt, dass das Modell die Sprache auswählt, die sich für ein bestimmtes Thema oder eine bestimmte Situation am passendsten "anfühlt". Er selbst würde etwa beim Rechnen in Chinesisch denken, weil das für ihn klarer und effizienter sei.
“Weiß nicht was Sprache ist”
„Das Modell weiß nicht, was Sprache ist, oder dass Sprachen unterschiedlich sind“, sagte Matthew Guzdial, KI-Forscher und Assistenzprofessor an der University of Alberta, gegenüber TechCrunch. „Für das Modell ist alles nur Text.“
Er spielt damit auf die Funktionsweise derartiger KI-Modelle an. Sie verarbeiten keine Wörter direkt, sondern Token. Token können ganze Wörter, Silben oder nur einzelne Buchstaben sein.
Das Phänomen tritt jedenfalls auch mit anderen Sprachen auf. Beim Versuch, einen bestimmten Song wiederzufinden, wechselte o1 in diesem Fall etwa auf Französisch:
Was genau der Grund für die sprachliche Flexibilität des KI-Modells ist, bleibt also unklar. Denkbar wäre auch, dass der Grund eine Mischung aus Trainingsdaten und Funktionsweise des Modells ist, anstatt nur einer von beiden.