Wo Algorithmen bereits versagt haben

In Europa gibt es bisher noch nicht viele Länder, bei denen staatliche oder staatsnahe Stellen Computerprogramme zur Entscheidungsfindung über Förderungen oder Sozialleistungen einsetzen. Doch die Anzahl wächst. „So etwas wie der AMS-Algorithmus ist in Europa tatsächlich ziemlich selten“, sagt Ben Wagner, der am Privacy & Sustainable Computing Lab am Institute for Information Systems & Society an der WU Wien zu Algorithmen forscht, zur futurezone. „Österreich ist Negativ-Vorreiter. Wenn, dann findet so etwas bisher eher in Ländern mit konservativ orientierten Wertevorstellungen statt, etwa in Polen.“

In Polen hat das Sozialministerium bereits 2012 ein System entwickeln lassen, das bei Arbeitssuchenden auf sogenanntes Profiling setzt. Seit 2014 werden Arbeitssuchende dort aufgrund von zusammengeführten Datensätzen und Fragebögen in drei Klassen eingeordnet und die Fördertöpfe werden aufgrund dieser Kriterien verteilt – ähnlich, wie es jetzt beim AMS geplant ist, nur mit anderen Kriterien zur Einteilung, wer förderwürdig ist und wer nicht.

System in Polen

Neben fehlender Transparenz und Nachvollziehbarkeit der Entscheidungen kam es in Polen laut einem Paper (PDF) auch zu dem Problem, dass es zwischen den offiziellen, deklarierten Förderzielen und der tatsächlich umgesetzten Praxis eine große Diskrepanz gab. Langzeitarbeitslose, die gar kein großes Interesse an einer Förderung hatten, landeten etwa in derselben Kategorie wie Menschen, die erst vor kurzem ihre Jobs verloren hatten und wissbegierig waren. Die mit dem Programm angestrebte „Individualisierung“ der Förderungen wurde damit obsolet, heißt es in dem Forschungspapier.

Zudem seien die Arbeitssuchenden nicht mehr wie mündige Bürger behandelt worden, sondern waren plötzlich aufgrund des eingeführten Systems alle als „verdächtig“ eingestuft worden, schreiben die Forscher. Der „typische Arbeitslose“ sei faul, würde sich nicht um einen neuen Job bemühen und würde nur betrügen, um möglichst lange nicht arbeiten zu müssen, heißt es darin. Arbeitssuchende mussten daher erst einmal beweisen, dass sie wirklich an einer neuen Arbeitsstelle oder Förderungen interessiert seien, heißt es. Zudem seien Personen, die in die unterste Kategorie gesteckt worden waren, mit einem „sozialem Stigma“ versehen worden.

Zwar sollten alle Kategorien von den Sachbearbeitern als gleichwertig behandelt werden, doch in der Praxis habe sich gezeigt, dass dies nicht der Fall war. Die Sachbearbeiter teilten die Menschen in „gut“ und „schlecht“ ein und nahmen den Menschen damit auch einen Teil ihres Selbstbewussteins weg. „So etwas ist ein sehr starker Eingriff und als Staat versucht man so etwas in der Regel daher zu vermeiden“, sagt Wagner.

Beim geplanten AMS-System, das vorsieht, dass ein Algorithmus die Arbeitsmarktchancen von Arbeitslosen berechnet, die anschließend mit einem Score versehen werden und in drei Kategorien eingeteilt werden soll, sei zumindest Transparenz gegeben, so Wagner. „Doch Transparenz alleine nützt nichts, man müsse auch jemanden haben, der ganz klar die Verantwortung für diese Entscheidungen übernimmt, die das Computersystem trifft.“

Niederlande und Intransparenz

Auch in den Niederlanden gibt es eine Software, die automatisch potentielle Sozialbetrüger herausfiltern soll. Diese ist jedoch alles andere als transparent. Wie genau sie funktioniert, lässt sich nicht herausfinden und Bürgerrechtler haben deshalb bereits eine Klage eingereicht. Die Software kommt derzeit in der Kleindstadt Capelle aan den Ijssel in der Nähe von Rotterdam zum Einsatz. Die Stadt umfasst zirka 66.000 Einwohner und dort kommt ein Analyseprogramm namens „System Risk Indication“ (SyRI) zum Einsatz. Die Big-Data-Software führt Bürgerdaten von verschiedenen Behörden und staatlichen Einrichtungen zusammen.

So können zum Beispiel Steuerdaten damit abgeglichen werden, wer staatliche Hilfs- und Unterstützungsleistungen bekommt. Oder Angaben zum Wohnort mit Daten der Einbürgerungsbehörde, wie „Algorithm Watch“ schreibt. Wirkt etwas auffällig, schaut sich das eine Sachbearbeiterin im Sozialministerium genauer an. Welche Daten genau einbezogen werden und wie die Software funktioniert, verrät der Staat nicht.

Bürgerrechtler haben deshalb geklagt, weil die Software Bürger „unter Generalverdacht“ stelle und damit gegen die Europäische Menschenrechtskonvention verstoßen soll. Eine entsprechende Entscheidung zu dem Fall ist noch ausständig. Sie wird aber auf jeden Fall richtungsweisend sein, um festzustellen, wie weit derartige Systeme in Europa gehen dürfen.

Rückfälligkeitsquote in den USA

In den USA kommen schon zahlreiche Computerprogramme bei Entscheidungsfindungsprozessen zum Einsatz. Etwa auch, wenn es darum geht, zu beurteilen, ob ein Straftäter auf Kaution freigelassen werden soll oder ob die Gefahr, dass er rückfällig wird oder untertaucht, zu groß ist. Dazu kommt ein System namens COMPAS in US-Staaten von Kalifornien bis New Jersey zum Einsatz, das anhand von 137 persönlichen Faktoren entscheiden soll, ob jemand rückfällig wird oder nicht.

„Das Tool soll, ähnlich wie das AMS-Computerprogramm, das Sachbearbeitern bei ihren Entscheidungen hilft, in den USA Richtern dabei helfen zu entscheiden, ob Angeklagte auf Kaution freigelassen werden sollen, oder nicht“, erklärt Florian Cech, Forscher am Center for Informatics and Society an der Informatikfakultät der TU Wien gegenüber der futurezone. „Richter müssen nicht auf das System hören, doch sie verlassen sich in der Regel darauf“, sagt Cech. Dabei habe man rausgefunden, dass das Tool Personen mit nicht-weißer Hauptfarbe strukturell benachteiligen würde.

„Das System war nur in 61 Prozent der Fälle akkurat und ausgebildete Richter hatten mit 84 Prozent eine bessere Trefferquote. Selbst nicht ausgebildete, zufällig ausgewählte Personen, denen man einen Dollar dafür gezahlt hat, ein Urteil zu fällen, hatten bessere Erfolgsraten als das Programm“, erklärte Cech. Ein weitaus simpleres Modell, dass lediglich Vorstrafen und Alter berücksichtige, hatte eine bessere Erfolgsrate und trotzdem ist COMPAS noch immer im Einsatz.
 

Amazons Recruiting-Tool

Andere Systeme werden durchaus wieder abgeschafft, wenn sie nicht funktionieren. Amazon hatte im Jahr 2014 ein System entwickelt, bei dem eine künstliche Intelligenz die besten Bewerber für einen bestimmten Job automatisch finden sollte. Weil das System systematisch Frauen benachteiligt hatte, wurde es 2017 wieder abgeschafft. Das System hatte sich das Fehlverhalten selbst beigebracht und war auch durch einfache Programmierbefehle nicht in den Griff zu kriegen, heißt es in einem Bericht von Reuters.

Amazon hatte als Lernmaterial für das System die Bewerbungen der vergangenen zehn Jahre benutzt. Weil sich überwiegend Männer beworben hatten, stufte der Algorithmus „Mann“ in einer Skala positiv ein, „Frau“ hingegen negativ. Selbst eine neutrale Einstufung von „Frau“ konnte die Diskriminierung nicht lösen, da das System derartige Befehle immer wieder ignoriert hatte.

„Man darf daher den Daten nie blind glauben, sondern muss sie immer hinterfragen und überprüfen“, sagt dazu. „Systeme können immer verrückte Korrelationen herstellen, etwa zwischen Mördern und Schokolade. Nur weil jemand Schokolade ist, ist er deshalb noch lange kein Mörder. Das gleiche gilt auch für Korrelationen zwischen Bewerbern und Männer oder Frauen.“

Vieles kann falsch laufen

Diskriminierung wird daher in jedem Computersystem eine gewisse Rolle spielen, weil bei diesen Korrelation und Kausation anders zustande kommt als bei Menschen. „Vieles kann falsch laufen, wenn wir zu viel Vertrauen in Daten setzen“, meint dazu auch die Mathematikerin Cathy O’Neil, die ein ganzes Buch zu dem Thema geschrieben hat.

In „Angriff der Algorithmen: Wie sie Wahlen manipulieren, Berufschancen zerstören und unsere Gesundheit gefährden“ bringt die Datenspezialistin noch weitere zahlreiche Beispiele für Dinge, die beim Einsatz von Algorithmen schiefgehen können. Es braucht daher auf jeden Fall neben Transparenz und Verantwortung auch eine breite ethische Diskussion darüber, wo man sich auf derartige Systeme wirklich verlassen möchte, und wo Menschen vielleicht doch die besseren Entscheidungsträger sind. 

Hier geht es zu den anderen Teilen der futurezone-Serie:
Teil 1: Der AMS-Algorithmus ist ein „Paradebeispiel für Diskriminierung“
Teil 2: Warum Menschen Entscheidungen von Computerprogrammen nur selten widersprechen
Teil 3: Wie ihr euch gegen den AMS-Algorithmus wehren könnt
Interview: AMS-Chef: "Mitarbeiter schätzen Jobchancen pessimistischer ein als der Algorithmus"