Erschreckend: Wie Suchmaschinen besonders sexistisch werden

Entscheidungen von Maschinen mittels Künstlicher Intelligenz (KI) haben sich in der Vergangenheit bereits als diskriminierend oder rassistisch erwiesen. Denn die Algorithmen greifen auf Daten zu, die von Menschen stammen und oftmals mit Vorurteilen belastet sind. Linzer Forscher zeigen nun, dass die Ergebnisse von Suchmaschinen, die Deep Learning nutzen, besonders sexistisch verzerrt sind.

In ihrer Studie haben Navid Rekab-Saz und Markus Schedl vom Institut für Computational Perception der Universität Linz und der Human-centered AI Gruppe des Linz Institute of Technology (LIT) AI Lab Modelle bzw. Algorithmen analysiert, die in Suchmaschinen verwendet werden - basierend auf realen Suchanfragen. Sie werden ihre Ergebnisse im Juli bei einer Konferenz über Forschung zur Informationsbeschaffung mit Suchmaschinen (International ACM SIGIR Conference on Research and Development in Information Retrieval) vorstellen.

Geschlechtsneutrale Anfragen

Die Wissenschafter haben in der Arbeit Such-Fragen in zwei Gruppen geteilt: Einerseits solche, die geschlechtsneutral sind und Antworten ohne Gender-Bias lieferten. Als Beispiel nennen die Forscher die Frage nach Römischen Kaisern. Die Antwort lieferte zwar nur Männer, weil es aber tatsächlich nur Männer auf den Thron schafften, gibt es auch bei der Antwort keine Verzerrung.

Die andere Gruppe bildeten Anfragen, die - zumindest im Englischen - nicht explizit geschlechtsspezifisch sind, etwa die Frage nach dem Einkommen einer Pflegekraft (der Begriff "nurse" steht im Englischen sowohl für Krankenpfleger als auch für Krankenpflegerin) oder die Frage nach einem Synonym für "schön". Obwohl diese Fragen geschlechtsneutral sind, warfen die Suchmaschinen vor allem Antworten im Zusammenhang mit Frauen aus, Männer kamen erst weit hinten vor. Umgekehrt liefert etwa die Suche nach "CEO", also den Geschäftsführer eines Unternehmens, oder "Programmierer" überwiegend männlich ko-notierte Antworten.

Verzerrung nimmt weiter zu

Es habe sich gezeigt, "dass gerade die neuesten Deep Learning-Algorithmen eine besonders ausgeprägte geschlechtsspezifische Verzerrung verursachen", sagte Rekab-Saz. Das habe einige Tragweite, würden doch solche Algorithmen seit kurzem von zwei der größten Suchmaschinen - Google und Bing - eingesetzt.

Der Grund für die Verzerrung sei, dass jene Systeme, die Deep Learning nutzen, nicht nur nach dem Suchbegriff alleine suchen - also etwa "nurse" oder "CEO", sondern auch ähnliche Begriffe oder Themenbereiche. Im Fall "nurse" würden sie etwa auch "matron" (Oberschwester) mit einbeziehen. Dadurch tendierten sie zunehmend zur weiblichen Interpretation der Suchanfrage.

KI verstärkt den Effekt

Der Hintergrund sei, dass die von Menschen gesammelten und aufbereiteten Daten, auf denen die KI basiert, bereits diese Tendenzen beinhalten, "die Suche der KI verstärkt nur den Effekt", so Rekab-Saz. In ihrer Studie haben die Experten den Geschlechter-Bias untersucht, sie sind sich aber sicher, dass solche Effekte auch in anderen Bereichen wie Alter, ethnische Zugehörigkeit oder Religion vorkommen.

Für die Wissenschafter ist das Ergebnis kein Grund dafür, KI abzulehnen, diese sei ein "enorm wertvolles Werkzeug". Das Ziel ihrer Gruppe sei es vielmehr, sich die Verzerrung von KI-Ergebnissen durch menschliche Vorurteile bewusst zu machen und bereits bei der Programmierung der Algorithmen zu berücksichtigen. "Deep Learning ist ein Werkzeug, das zwei Seiten hat: Es kann einerseits einen bestimmten Bias intensivieren, wie das aktuelle Studienergebnis zeigt. Andererseits hat es so viel Flexibilität, dass wir auch bessere Modelle designen können, die explizit solche Verzerrungen vermeiden", sagte Rekab-Saz.

Zahlreiche Studien

Die Diskriminierung durch Algorithmen wurde in zahlreichen Studien belegt. Da werden Menschen mit Migrationshintergrund als weniger kreditwürdig eingestuft, von Polizeicomputern häufiger verdächtigt oder sie bekommen von sozialen Plattformen Angebote für schlechtere Jobs oder Wohnungen. Microsoft musste eine Chatbot-Software nach kurzer Zeit vom Netz nehmen, weil Nutzer sie dazu brachten, den Holocaust zu leugnen und Schwarze zu beleidigen.