“Der König ist tot”: Diese KI schlägt GPT-4 in großem Vergleich

Am Dienstag hat das Large Language Model (LLM) Claudia 3 Opus von Anthropic erstmals OpenAIs ChatGPT-Model GPT-4 im Leaderboard der Chatbot Arena überholt. Die Webseite basiert auf Crowdsourcing und lässt verschiedene LLMs gegeneinander antreten. 

➤ Mehr lesen: Neue KI erkennt, dass sie von Menschen getestet wird

Nutzer*innen geben dabei einen Prompt ein und bekommen Antworten von 2 verschiedenen Modellen geliefert. Es wird nicht verraten, um welche Modelle es sich handelt. Anschließend kann man die Antworten bewerten und bestimmen, wer das bessere Ergebnis liefert. Alternativ kann man “unentschieden” oder ein “beide sind schlecht” auswählen. Erst nach der Bewertung erfährt man, um welche Modelle es sich gehandelt hat. 

Die so gesammelten Daten sind für Forscher*innen äußerst wertvoll. So ist es äußerst schwierig, die Qualität von Chatbot-Antworten objektiv zu bewerten. 

➤ Mehr lesen: GPT-4 gratis: Microsoft bringt Copilot-App für Android

“Wahnsinn”

Es ist das erste Mal, dass GPT-4 vom Spitzenplatz verdrängt wird, seit das Modell in Chatbot Arena vertreten ist. “Der König ist tot”, schrieb Software-Entwickler Nick Dobus auf X zu dem Führungswechsel. “Das ist Wahnsinn dafür, wie billig und schnell es ist”. 

Anthropic wurde von ehemaligen OpenAI-Mitarbeiter*innen gegründet. Unter anderem Amazon und Google haben in das Unternehmen investiert. Der Chatbot Claude kann auf claude.ai getestet werden. 

Chatbot Arena wird von der Forschungsorganisation Large Model Systems Organization (LMSYS ORG) betrieben. Hinter ihr stehen Studierende und Lehrkräfte der University of California, Berkeley, der UC San Diego und der Carnegie Mellon University.