AMS-Konferenz: Wenn Algorithmen Vorurteile lernen

Die Erwartungen an Computerprogramme und Algorithmen seien groß: Sie sollen Entscheidungen neutraler und objektiver machen, sagt Ilona Horwath, Juniorprofessorin für Technik und Diversity an der Universität Paderborn. Sie hielt am Freitag die Keynote bei einer Veranstaltung zum Thema „Digitale Diskriminierung“ der Frauenabteilung des Arbeitsmarktservice (AMS) Österreich in Kooperation mit dem RRRRIOT Festival. „Der Wirtschaftsinformatiker Tim Weitzel hat in einem Interview erzählt, dass gerade Frauen sich lieber von einem Roboter bewerten lassen würden, wenn es Bewerbungsgespräche geht“, so Horwath.

Hoffnungen auf Objektivität

In den USA gibt es nämlich bereits erste Firmen, die Bewerbungsgespräche von Computern führen lassen und Kandidaten vor einer Webcam sitzen und eine Software Mimik, Stimme und Inhalt analysiert. Bei Bewerbungsgesprächen bekommen Männer laut Horwath bei gleicher Qualifikation völlig andere Reaktionen als Frauen, daher sei es „kein Wunder, dass die Hoffnung besteht, dass das Geschlecht bei Computern keine Rolle spielt.“

Doch diese Hoffnung gehe nicht auf. „Nach 100 Beobachtungen war die Software so gut trainiert, dass sie zu ähnlichen Entscheidungen gekommen ist wie menschliche Personalchefs. Die Software wurde mit Trainingsdaten gefüttert und hat damit auch die Vorurteile der Personaler übernommen“, erläutert Horwath das Beispiel im Detail.

Gesellschaft bewusst gestalten

Die „Aura der Wahrheit und Objektivität“, die von Algorithmen ausgehe, sei deshalb zu hinterfragen. Es sei immer eine „Gestaltungsaufgabe der Gesellschaft“, wie sie mit Technologie umgeht und diese nützt, sagt die Forscherin. Ein anderes Beispiel für Diskriminierung sei etwa die Google-Bildersuche. „Bei der Suche nach CEOs werden bildliche stereotype Übertreibungen mit Frauen in kurzen Röcken bei gleichzeitiger geringerer Repräsentation von weiblichen Führungskräften als in der Realität gezeigt“, so Horwath.

Derartige Darstellungen hätten einen Rückkoppelungseffekt. „Es braucht daher eine kritische Aufmerksamkeit für nicht intendierte Handlungsfolgen“, empfahl die Forscherin. Das gilt etwa auch für den Algorithmus des AMS, der Mitarbeitern die Arbeitsmarktchancen ihrer Kunden berechnet und anzeigt.

Wer sich beim AMS arbeitslos meldet, wird seit diesem Jahr von dem Computerprogramm nach bestimmten Kriterien, die teilweise transparent kommuniziert worden sind, bewertet und eingeteilt. Das Projekt befindet sich gerade im Probebetrieb und auch hier wurde bereits Kritik von Experten laut bezüglich Diskriminierung.

AMS-Algorithmus als Thema

„Der Algorithmus ist genau das Gegenteil von Diskriminierung“, betonte AMS-Vorstand Johannes Kopf in einer an die Keynote anschließenden Diskussion, die futurezone.at-Chefredakteurin Claudia Zettel moderierte. „Es geht um die Sichtbarkeit von Arbeitsmarktchancen. Unser Algorithmus zeigt große Ungleichheiten am Arbeitsmarkt auf und hat den Zweck, dass wir dann Fördergelder gezielter verteilen können.“

Frauen bekommen von dem Computerprogramm per se weniger Punkte als Männer. Müssen sie zudem Kinder betreuen, wird das vom Computer ebenfalls negativ bewertet, bei Männern gibt es für Betreuungspflichten hingegen keinen Abzug. Kopf sieht darin allerdings keine Diskriminierung, weil Frauen dadurch vermehrt in der „mittleren Gruppe“ landen würden und somit in dem Topf landen, in dem die größten Fördergelder verteilt werden.

„Das sind die, die wir ganz besonders fördern wollen und wir sehen durch unsere Statistiken, dass diese Fördergelder bei Frauen besonders effektiv sind. Wir machen das, weil wir ihre Chancen verbessern wollen“, so Kopf. Eingebaut werden zudem Safeguards, damit AMS-Berater Menschen nicht etwa runterstufen, um weniger Aufwand zu haben. „Außerdem werden wir den Algorithmus laufend beobachten und evaluieren“, so Kopf. „Wir verdienen einen Vertrauensvorschuss, weil wir sind keine böse Bank, die damit über Kredite entscheidet.“

Es geht um einzelne Menschen

Uniprofessorin Horwath verwies darauf, dass ein derartiges Modell zwar gut sei, wenn man Chancen bestimmten Gruppen zuordnen möchte, doch es auf individueller Ebene problematisch sein könnte. „Wenn eine Kategorisierung eines Individuums erfolgt, ändert sich etwas. Das ist der Moment, wo ich denke, dass es schnell zu einer selbsterfüllenden Prophezeiung kommen könnte“, sagte die Forscherin. „Das kennt man etwa aus der Kriminologie. Wenn jemand als kriminell eingestuft wird, kann sich dadurch eine Spirale in Gang setzen. Daher müssen Maßnahmen vorgesehen sein, die das verhindern“, so die Expertin.

Kopf sagte, dass es derartige Problematiken bereits in der Vergangenheit gegeben habe, etwa bei Kopftuchträgerinnen und Bewerbungsfotos. „Wir sind damit konfrontiert, dass es Diskriminierung am Arbeitsmarkt gibt.“ Die 6000 Berater würden ab dem nächsten Jahr den Betroffenen daher immer auch die Hauptgründe für ihre Einstufung mitteilen, so der AMS-Vorstand. „Derzeit hat das System noch keine Auswirkungen für Kunden.“ Das AMS werde sich zudem weiterhin der öffentliche Diskussion zu diesem Thema stellen.

Sandra Konstatzky von der Gleichbehandlungsanwaltschaft betonte, dass man auch darauf achten müsse, wie man als Betroffene Rechtsdurchsetzung gewährleisten könne, wenn sich künftig jemand von dem Computerprogramm diskriminiert fühlt. „Was passiert, wenn ein Fehler passiert ist? Hier müsste man gewährleisten, dass Systeme auch von außen überprüft werden können“, so Konstatzky. Die Gleichbehandlungsanwaltschaft habe ein ähnliches Problem bereits einmal gehabt, als es um Versicherungsmathematik ging. „Es wurden unterschiedliche Versicherungstarife für Frauen und Männer angeboten. Das haben wir abgestellt.“ Weil Diskriminierung verschuldensunabhängig sei, müsse man auch von außen schauen können, ob Systeme Tücken oder Lücken haben, sagte Konstatzky.

Frauen in Debatten stärken

Bei der Tageszeitung Standard betreibt man unterdessen ein ganz eigenes Forschungsprojekt zum Thema Debattenkultur und Gender. „Der Leseranteil und der Anteil derjenigen, der im Forum postet, driftet immer weiter auseinander. Dabei werden sexistische Ansichten stärker sichtbar“, sagt Alina Luca Huster vom Standard. In einem Forschungsprojekt mit dem dem Austrian Research Institute for Artificial Intelligence (ÖFAI) untersuche man deshalb per sprachtechnologischer Analyse das, was ein „starkes Posting“ ausmache. „Unser Ziel ist es, den Frauenanteil in Foren gezielt zu fördern und zu stärken“, sagte Huster. „Frauen dürfen nicht aus Online-Debatten verdrängt werden.“

Einig war man sich auch, dass die Tech-Branche derzeit ein „Diversity“-Problem habe. Da man Algorithmen auch künftig nicht mehr entkommen werde, wünschte sich Horwarth, dass kritisches Denken im Diskurs verankert und gefördert werde. „Es reicht nicht, dass Frauen an Technologien mitarbeiten. Nur weil man mehr Frauen in eine Branche bringt, heißt das noch nicht, dass die Probleme dann automatisch aufhören“, sagte Horwarth. „Wenn man Algorithmen einführt, muss man diese auch evaluieren und daraus Konsequenzen ziehen.“

Zum Nachlesen geht es hier zu der futurezone-AMS-Algorithmus-Serie:
Teil 1: Der AMS-Algorithmus ist ein „Paradebeispiel für Diskriminierung“
Teil 2: Warum Menschen Entscheidungen von Computerprogrammen nur selten widersprechen
Teil 3: Wie ihr euch gegen den AMS-Algorithmus wehren könnt
Teil 4: Wo Algorithmen bereits versagt haben
Interview: AMS-Chef: "Mitarbeiter schätzen Jobchancen pessimistischer ein als der Algorithmus"
Umstrittener AMS-Algorithmus teilt Arbeitslose ab sofort in Kategorien ein
Computer sagt nein: Algorithmus gibt Frauen weniger Chancen beim AMS