So oft sind Googles KI-Zusammenfassungen falsch

Wer in Eile ist, verlässt sich beim Googeln oft auf die KI-Zusammenfassung ganz oben vor den Suchergebnissen. Dort fasst Google Gemini zwar übersichtlich Informationen aus dem Netz zusammen, die allerdings nicht immer stimmen.

Die New York Times wollte genauer wissen, wie oft die "AI Overviews" von Google nicht korrekt sind. Sie beauftragte daher das KI-Start-up Oumi mit einer Analyse. Die Firma sah sich Googles Ergebnisse deshalb im Detail an.

➤ Mehr lesen: Google wird wegen "Übersicht mit KI" verklagt

Millionen falsche Antworten pro Stunde

Oumis Fazit: Annähernd 9 von 10 KI-Zusammenfassungen sind faktisch korrekt, jede zehnte enthält aber Fehler. Angesichts von mehr als 5 Billionen Suchanfragen pro Jahr bedeutet das laut Oumi, dass jede Stunde zig Millionen KI-Zusammenfassungen Ungenauigkeiten und Fehler enthalten.

Die Tester fanden außerdem heraus, dass die von Google angegebenen Quellen die wiedergegebenen Informationen nicht immer stützen – auch wenn die Zusammenfassungen stimmen. Die KI-Zusammenfassung von Google liefert in der Regel eine Quellenangabe, woher eine Info stammt. Oumis Analyse zeigt aber, dass sich die Infos nicht immer decken. Das war auch in mehr als der Hälfte der korrekten KI-Antworten der Fall.

Besserung seit Herbst

Für die New York Times testete Oumi die Google-KI-Zusammenfassungen 2-mal: im Oktober und im Februar. Die KI-Modelle dahinter hat Google inzwischen teilweise geändert. Jeweils führte Oumi 4.326 Suchen durch. Seit Herbst steigerte sich die Korrektheit durch den teilweisen Umstieg von Gemini 2 auf 3 von 85 Prozent auf 91 Prozent.

Die Tester fragten etwa, wann das ehemalige Wohnhaus von Bob Marley zum Museum wurde. Die Zusammenfassung von Google vermerkte 1987, obwohl das laut Berichten von Lokalmedien bereits ein Jahr davor der Fall war. Google verlinkte ein Facebook-Posting von Bob Marleys Tochter Cedella Marley, in dem aber gar nicht stand, wann das Museum tatsächlich aufgesperrt hatte. Der zweite Quellenverweis führte zu einem Reiseblog mit falschen Informationen zum Veröffentlichungszeitpunkt. Als dritte Quelle war ein Wikipedia-Artikel gelistet, in dem korrekt stand, dass das Museum 1986 gegründet wurde. Bei anderen Suchen verhielt es sich ähnlich.

Google selbst sieht das Problem weniger bei den eigenen Suchergebnissen, sondern bei OpenAI, das den zugrunde liegenden Benchmark-Test entwickelt hat. Dieser würde laut Google nicht widerspiegeln, wonach Menschen tatsächlich suchen. Stattdessen nutze Google ein eigenes internes Überprüfungssystem, wie ein Sprecher der New York Times erklärte.

➤ Mehr lesen: Google Search Live startet weltweit: Das könnt ihr damit machen

Trotzdem zeigt die Analyse: Verlass ist auf die KI-Zusammenfassungen nicht – worauf übrigens auch Google selbst unter jeder Zusammenfassung hinweist. Dem muss sich jeder klar sein, bevor er den Ergebnissen vertraut und diese für bare Münze nimmt. Wenn man wirklich eine korrekte Antwort auf eine Frage benötigt, sollte man in jedem Fall auch noch woanders nachlesen.