Wer verantwortlich ist, wenn Algorithmen diskriminieren

Bisher haben vor allem Menschen Entscheidungen darüber getroffen, wer einen Job bekommt und wer nicht. Wenn eine Führungsperson in einem Jobinterview eine Entscheidung trifft, wird diese laut Forschern meistens innerhalb der ersten 10 Sekunden eines Gesprächs und aus dem Bauch heraus getroffen. Sie wird dann im Nachhinein rationalisiert und begründet.

„Die Evolution hat uns schlecht auf komplexe, analytische Entscheidungen vorbereitet“, sagt Lukas Feiler, Rechtsanwalt und Datenschutzexperte bei McBaker McKenzie. „Das Recht räumt menschlichen Entscheidungen einen großen Spielraum ein, und es ist schwierig, jemandem eine unbewusst getroffene diskriminierende Entscheidung nachzuweisen“, sagt Feiler, der bei der Entwicklerkonferenz sec4dev einen Vortrag rund um dieses Thema gehalten hat. Er sieht in künstlicher Intelligenz (KI) eine große Hoffnung, dass die Entscheidungen damit „besser“ und diskriminierungsfreier werden könnten.

Optimistische Sichtweise

„Wir leben in einer Zeit, in der wir erkannt haben, dass es unbewusste Diskriminierung gibt. Hier ist viel passiert und daher glaube ich, dass wir als Gesellschaft in der Lage sind, die Technik, die uns zur Verfügung steht, einzusetzen, um dieses gesellschaftliche Defizit zu adressieren“, sagt Feiler. In vielen Unternehmen gebe es heutzutage Gender-Beauftragte und es werde auf Diversität geachtet. Automatisierte Entscheidungen im Einstellungsprozess könnten laut Feiler dabei helfen, Rassismus und Sexismus auszuschalten.

Doch bisherige KI-Systeme bewiesen exakt das Gegenteil. Im Jahr 2014 hat ein großer Online-Händler etwa eine Software entwickelt, die mittels KI eine Reihung der eingelangten Bewerbungen erstellen und die besten 5 Kandidaten vorschlagen sollte. Im Jahr 2018 musste das Unternehmen den Algorithmus wieder einstellen, weil er Frauen diskriminiert hat. Das Problem: die KI war anhand der Daten, die bei dem Unternehmen innerhalb der vergangenen 10 Jahre eingegangen waren, trainiert worden und hatte dadurch gelernt, dass Männer häufiger eingestellt wurden.

Fairere Systeme entwickeln

„Egal welches Unternehmen KI in der Entwicklungsphase eingesetzt hat: In Zukunft muss man eine ausgereifte KI als Gelegenheit begreifen, faire Entscheidungen zu treffen, und zwar auch nach rechtlichen und ethischen Kriterien und nicht nur nach betriebswirtschaftlichen“, sagt Feiler. Man könne die Maschinen niemals „sich selbst überlassen“, sagt Feiler: „Statt Maschinen mit den Bewerberdaten der vergangenen Monate oder Jahre zu füttern, muss man neue Kriterien entwickeln, um diskriminierenden Entscheidungen vorzubeugen.“

Ansonsten sei es keine Überraschung, dass man dem Computerprogramm die falschen Entscheidungen von Menschen antrainiere. „Wer das tut, fügt sich als Unternehmen selbst Schaden zu, denn schlechte Entscheidungen sind in den meisten Fällen auch aus betriebswirtschaftlicher Sicht schädigend“, sagt Feiler.  Das haben auch Unternehmen gelernt, die früh KI für Personalsuche genutzt haben.

Verantwortung für Firmen

Wenn sich Unternehmen für den Einsatz von Computerprogrammen bei Bewerbungsverfahren entscheiden, sollten sie zudem wissen, dass sie für die Entscheidungen, die die Maschine fällt, letztendlich auch verantwortlich sind. „Nicht jene Programmierer, die eine KI entwickelt haben, sind dafür, rechtlich gesehen, verantwortlich, sondern das Unternehmen, das die Software einsetzt“, erklärt Feiler. „Ich kann mich dann nicht darauf ausreden, dass es jemand anderer gebaut hat.“ Hinzu kommt, dass eine automatisierte Entscheidung, die ein Computer getroffen hat, immer nachvollziehbar sein muss. „Man muss erklären können, wie es dazu gekommen ist“, sagt Feiler.

Wenn eine Frau mit gleicher Qualifikation sich in einem Bewerbungsprozess diskriminiert fühlt, weil sie den Job nicht bekommen hat, muss das Unternehmen diese Entscheidung begründen können, wenn sie von einem Computerprogramm getroffen wurde. „Betroffene haben die Möglichkeit, eine Überprüfung zu verlangen“, sagt Feiler. In der Praxis erweist sich das allerdings nicht immer als einfach.

Schlupfloch bei semiautomatischen Entscheidungen

Als Bewerberin weiß man nämlich häufig gar nicht, wer auf welchen Kriterien basierend Entscheidungen trifft. Feiler räumt ein, dass Bewerberinnen schlechte Entscheidungen hinterfragen können, wenn sie gar nicht wissen, wie diese getroffen werden. „Deshalb ist hier Transparenz sehr wichtig.“ Unternehmen müssen jedoch in ihren Datenschutzerklärungen ausweisen, ob Entscheidungen vollautomatisiert getroffen werden, oder nicht. „Dann hat man das Recht, Informationen zu verlangen.“

Da es in Österreich verboten ist, diskriminierende Entscheidungen anhand des Geschlechts oder des Religionsbekenntnisses zu treffen, drohen Unternehmen in so einem Fall auch hohe Strafen, wenn der Computer diskriminiert. „Das ist als Verletzung der Datenschutz-Grundverordnung (DSGVO) zu bewerten und kann Geldbußen von bis zu 20 Millionen Euro nach sich ziehen“, sagt Feiler. Das setzt allerdings voraus, dass der Manager die Entscheidung nicht am Schluss des Recruiting-Prozesses doch noch selbst getroffen hat. Bei semiautomatisierten Entscheidungen gibt es nämlich ein Schlupfloch im Gesetz, das von Firmen ausgenutzt werden könnte - so ferne sie zu jenen Betrieben gehören, bei denen sich Diversität noch nicht durchgesetzt hat.