ChatGPT kann die analoge Uhr nicht lesen

Gedichte schreiben, Software programmieren oder 100 Seiten lange Texte innerhalb von Sekunden zusammenfassen: Die Fähigkeiten von Chatbots scheinen kaum Grenzen zu kennen. Eine Grenze hat jetzt aber die Universität von Edinburgh in einer Studie aufgezeigt: das Lesen der Uhr.

Für das Experiment wurden aktuelle KI-Sprachmodelle getestet. Auf dem Prüfstand waren:

• OpenAI GPT-4o
• OpenAI GPT-o1
• Google Gemini 2.0
• Anthropic Claude 3.5 Sonnet
• Meta Llama 3.2-11B-Vision-Instruct
• Alibaba Qwen2-VL7B-Instruct
• ModelBest MiniCPM-V-2.6

Ernüchterndes Ergebnis

Die KI-Modelle wurden mit Bildern von verschiedenen analogen Uhren gefüttert. Einige davon waren ganz klassisch. Manche hatten römische Ziffern oder unterschiedlich gefärbt und geformte Zeiger. Zudem waren Bilder dabei, die keinen Sekundenzeiger hatten.

Die Chatbots wurden dann gefragt: „Was ist die Uhrzeit, die auf der Uhr auf dem Bild zu sehen ist?“ Die Ergebnisse waren ernüchternd. In weniger als 25 Prozent wurde die korrekte Uhrzeit genannt. Sie taten sich mit römischen Ziffern, ungewöhnlichen Zeigern und Uhren, die keinen Sekundenzeiger hatten, gleich schwer. Deshalb vermuten die Forscher, dass das Problem sein könnte, die Zeiger am Bild zu finden und deren Winkel am Ziffernblatt richtig zu interpretieren.

➤ Mehr lesen: KI aus Österreich soll besser sein als ChatGPT

Kalender sind leichter lesbar

Für einen weiteren Test wurden Bilder von analogen Kalendern, die 10 Jahre umspannen, eingelesen. Die Forscher fragten dann etwa: „An welchem Wochentag ist Neujahr?“ und „Was ist der 153. Tag des Jahres?“

Hier schnitten die KI-Modelle besser ab. GPT-o1 war der Topscorer bei den Kalenderaufgaben und lag zu 80 Prozent richtig. Zum Vergleich: Beim Uhrentest war Gemini-2.0 mit lediglich 22,58 Prozent der Spitzenreiter.