Dem AMS-Algorithmus fehlt der Beipackzettel

Wir sind fünf Wissenschaftler*innen von der TU Wien, der WU Wien und der Universität Wien, mit einem diversen Hintergrund in Künstlicher Intelligenz, Mathematik, Wirtschaftsinformatik, Kognitionswissenschaften, Sozialwissenschaften und Wissenschafts- und Technikforschung (STS). Wir forschen seit einiger Zeit zum AMS-Algorithmus und wundern uns über die aktuelle Debatte zum AMS -Algorithmus.

Echte Transparenz

Immer wieder wurde seitens des AMS von Transparenz in Bezug auf den AMS-Algorithmus gesprochen. Ob und inwiefern Transparenz in einem produktiven Ausmaß vorliegt, misst sich daran, inwieweit ein wissenschaftlicher Diskurs möglich ist, der auf belegbaren Fakten und Daten basiert. Echte Transparenz würde bedeuten, dass ebendiese belegbaren Fakten und Daten seitens des AMS bereitgestellt werden. Leider wurde dem bisher nicht in zufriedenstellender Weise nachgekommen: Von den 96 Modellvarianten, die sich zu dem algorithmischen System bündeln, wurden nur zwei veröffentlicht, und eine davon erst auf Anfrage. Auch die entsprechenden Fehlerquoten der 96 Modellvarianten sind weitestgehend unbekannt. 

Dass es überhaupt eines regen Schriftverkehrs und mehrerer Anfragen bedarf, um auch nur einen Bruchteil der benötigten Informationen zu erhalten, ist unzumutbar und widerspricht dem Postulat der Transparenz. Vielmehr sollte das AMS als Träger von öffentlicher Verantwortung der versprochenen Transparenz eigeninitiativ nachkommen und Anstrengungen unternehmen, die entsprechenden Modellvarianten, Daten und Fakten belegbar, nachvollziehbar und hinreichend anonymisiert aufzubereiten, um eine Analyse im Zuge eines breiten demokratischen Diskurses zu ermöglichen. Die Beurteilung, inwieweit Transparenz für eine ausreichende wissenschaftliche Debatte vorliegt, obliegt der Wissenschaft und kann nicht durch Behauptungen durch Verantwortliche des AMS auf ihren privaten Internet-Seiten ersetzt werden. Derartige Veröffentlichungen auf privaten Kanälen sind nicht überprüfbar und unterliegen keiner angemessenen Kontrolle durch rechtsstaatliche Institutionen. Stattdessen ist die Kommunikation auf den entsprechenden offiziellen Kanälen des AMS, bei der echte Transparenz gelebt werden sollte, zu führen. 

Wissenschaft lebt von einer kritischen Auseinandersetzung mit einer gemeinsamen Informationsgrundlage. Diese gemeinsame Informationsgrundlage existiert im Moment beim AMS-Algorithmus nicht und muss dringend hergestellt werden. Dies ist insofern bemerkenswert, dass sich diese gemeinsame Informationsgrundlage auch nach einer einjährigen medialen Debatte kaum geändert hat. Die Öffentlichkeit weiß fast genauso wenig wie vor einem Jahr über den tatsächlichen Einsatz von automatisierten Systemen beim AMS.
 

Um welche Technik geht es eigentlich?

Anders als vom AMS-Vorstand dargestellt, basiert der AMS-Algorithmus sehr wohl auf Trainingsdaten, in Form der Personendaten der vorhergehenden 4 Jahre und Ex-post Beobachtungen des Ausganges, und produziert Prognosen anhand der genannten 96 statistischen Modelle. Damit ist das System denselben Fehlerquellen - wie etwa Bias - unterworfen wie andere Systeme, die auf Trainingsdaten aufbauen. Jenseits von Fragen der Begriffsdefinition, was genau AI/KI sei oder nicht, sollte sich die Diskussion jedoch eher auf die Anwendbarkeit und Sinnhaftigkeit der gewählten technischen Methode sowie ihrer Risiken und Probleme konzentrieren. 

Der zunehmende Trend zur Automatisierung von Verwaltungstechnologien geht auch mit einer besonderen Verantwortung gegenüber den Bürger*innen im Einzelnen und der Gesellschaft im Allgemeinen einher: Insbesonders ist es in diesem Kontext absolut geboten, Menschen im Zentrum dieser Systeme mit Würde und als Ganzes zu verstehen, anstatt eine reduktionistische Datensicht zum Maßstab des Erfolgs des Systems heranzuziehen. Es sollte hier eine Selbstverständlichkeit sein, dass ein solches System nicht ohne externe Evaluierung an teilweise strukturell benachteiligten Personengruppen pilotiert wird, bevor das System ausgereift ist und auch von unabhängigen wissenschaftlichen Expert*innen als solches bestätigt wurde - eine Forderung, die seit dem Bekanntwerden der 'Evaluierungsphase' vom Oktober 2018 unbeantwortet bleibt.

Einsatz von Algorithmen als Grundsatzfrage

Der Einsatz derartiger automatisierter Systeme durch die öffentliche Hand ist eine Grundsatzentscheidung und muss in einer demokratisch legitimierten Gesellschaft auch gesamtgesellschaftlich diskutiert werden. Ein Teil dieses Diskurses ist hinreichende Transparenz; diese ist erst dann ausreichend, wenn sie die Adressat*innen ausreichend dazu befähigt, diesen Diskurs zu führen. Diese Debatte ist bisher nur angerissen worden; es stehen noch viele unbeantwortete Fragen aus, ohne deren Beantwortung eine tatsächlich transparente gesellschaftliche Debatte nicht möglich ist. Um darauf einzugehen, sind belegbare Daten und Fakten notwendig. 

Dazu sei auch gesagt, dass die aktuelle Anwendung des AMS-Algorithmus in vielerlei Hinsicht nicht internationalen Standards entspricht. So hat der Europarat Anfang 2018 Empfehlungen für den öffentlichen Einsatz von Algorithmen veröffentlicht, (zu den Autor*innen gehört unter anderem einer der Autor*innen dieses Beitrags, Ben Wagner), die im Widerspruch stehen zum aktuellen Einsatz von Algorithmen durch das AMS. Auch diverse Kolleg*innen aus der Wissenschaft warnen explizit vor dem aktuellen Einsatz von Algorithmen durch das AMS, sowohl in Medienberichten als auch auf wissenschaftlichen Veranstaltungen, wie etwa eine Veranstaltung der Universität Wien zu Algorithmen in der Arbeitsvermittlung vom 23. April 2019. Auf dem Stand der Technik zu sein würde auch bedeuten, neben Transparenz auch die Endnutzer*innen wie Arbeitssuchende und AMS Betreuer*innen in den Prozess der Entwicklung von Informationssystemen einzubeziehen, um sicherzustellen, dass ihre Bedürfnisse und Ansichten gut berücksichtigt werden.

Frauen werden benachteiligt

Auch die Frage der potentiellen Diskriminierung von Personengruppen ist, entgegen den Behauptungen des AMS-Vorstandes, keineswegs geklärt. Der Gleichbehandlungsgrundsatz stellt klar, dass niemand aufgrund des Geschlechts oder der ethnischen Zugehörigkeit beim Zugang zu Gütern oder Dienstleistungen, die der Öffentlichkeit zur Verfügung stehen, diskriminiert werden darf. Unabhängig von der Frage, ob die Einordnung in die Gruppen A, B oder C mehr oder weniger wünschenswert für diese Einzelperson wäre, bedingt die Segmentierung der vom AMS betreuten Personen zwangsweise, dass manche Personengruppen auf Basis ihres Geschlechts unterschiedliche Förderungen bekommen. Ob dies Frauen insbesondere trifft, mag zwar vom AMS vehement dementiert werden - dies bleibt aber bis zur Herausgabe von konkreten, wissenschaftlich belastbaren Daten eine nicht belegte Behauptung. 

Aus wissenschaftlicher Sicht scheint diese Behauptung zudem ausgenommen fraglich, zumal andere diskriminierende Effekte wie etwa das Problem des kumulativen Nachteils (cumulative disadvantage) beim Zusammentreffen verschiedener, strukturell benachteiligter Personengruppen (z.B. Frauen mit Kinderbetreuungspflichten und Migrationshintergrund) weiterhin bestehen. Auch der persönliche Nachteil, der Einzelpersonen aus einer, nur im Nachhinein beweisbar falschen Zuordnung entstehen kann, ist höchst problematisch und muss unter dem Gesichtspunkt von Diskriminierung untersucht werden. Da nur ein Bruchteil der Fehlerquoten der 96 Modellvariantenpubliziert wurde, liegt die Vermutung nahe, dass einige dieser Modelle eine schlechtere Trefferquote als andere aufweisen, was bedeuten würde, dass die betroffenen Personensegmente von höheren Fehlerquoten und falschen Zuordnungen diskriminiert werden.

Entscheidungen werden von Betreuer*innen getroffen

Das immer wieder genannte Argument, die Entscheidung werde weiterhin von Betreuer*innen getroffen, ist aus wissenschaftlicher Sicht unhaltbar: Seit dem offiziellen Einsatzstarts des Systems werden Entscheidungen des AMS jetzt gemeinsam von Betreuer*innen und einem System, welches Empfehlungen in Form von Gruppenzuweisungen macht, getroffen. Wissenschaftlich gesehen ist es mehrfach belegt, dass bereits die Existenz des Systems die Entscheidungen der Betreuer*innen beeinflussen wird. Wie genau der Algorithmus die Entscheidungen der Betreuer*innen beeinflusst, ist ohne externen Audit und eine Analyse auf transparenter, gemeinsamer Datenbasis nicht genau zu beziffern. 

Auch die Behauptungen des AMS, die Betreuer*innen würden ermutigt, die Bewertung des Systems zu hinterfragen und "den vom Computer errechneten Wert zu prüfen" ist ohne klare Beschreibung, wie diese Prüfung ablaufen soll, sehr problematisch. Die bis jetzt angedeuteten "internen Richtlinien", welche die Zuweisung von Maßnahmen unter Einbezugnahme des algorithmischen Ergebnisses regeln sollen, sind nicht veröffentlicht worden. Selbst die besten Richtlinien wären jedoch nicht geeignet, einen problematischen Einfluss des Algorithmus zu verhindern.

Effizienteres AMS als Ziel

Der stets unhinterfragte Rekurs auf Effizienz als oberste Zielvorgabe birgt also gewissen Tücken. Die AMS-Betreuer*innen finden sich nämlich entgegen der Annahme, dass ihnen das neue System Erleichterungen und damit verbundene Effizienzsteigerungen bringen soll, in einem neuen Spannungsfeld: Auf der einen Seite wird von ihnen erwartet, das neue System als Hilfestellung zu nutzen, auf der anderen Seite sind sie aber dazu angehalten, als "soziales Korrektiv" einzugreifen, wenn das System ihrer Ansicht nach falsch liegt. Zusätzlich zur Betreuung von Arbeitslosen müssen sie nun auch noch ein algorithmisches System betreuen und vor allem ausreichend kritisch verstehen, um Fehler zu erkennen und zu korrigieren. Dieser zusätzliche Aufwand reduziert natürlich die Zeit mit den Arbeitssuchenden, und steht der vermeintlichen Effizienz des neuen Systems gegenüber. Gerade die genaue Operationalisierung, interne Regeln und Guidelines zum Umgang mit diesem Spannungsfeld bedürfen unbedingter Transparenz, um einen kritischen Dialog über die Zielsetzungen und Erwartungen gegenüber eines solchen Systems zu ermöglichen!

Der Algorithmus ohne Beipackzettel

Zum Schluss noch ein Hinweis zum Umgang mit Unsicherheit, der gerne vom AMS bemüht wird: Der Algorithmus sei wie der Einsatz von “Medikamenten” da es sich beim Algorithmus um "Prognosen in die Zukunft mit Wahrscheinlichkeiten und nicht 100%iger Treffergenauigkeit” handelt. Mit solchen Risiken müsse man eben in einer demokratischen Gesellschaft umgehen, so das Argument. 

Der Vergleich von AMS-Algorithmen mit Medikamenten ist insofern spannend, als er den üblichen Umgang der öffentlichen Hand mit Risiken und Wahrscheinlichkeiten am Beispiel von Medikamenten verdeutlicht. Ein Medikament muss über Jahre hinweg in klinischen Studien überprüft werden, die Studie und die Grundlagen der Untersuchung müssen öffentlich einsehbar und transparent sein. Eine systematische Überprüfung von unabhängigen externen Stellen ist zwingend erforderlich. Selbst dann ist das Medikament mit einem Restrisiko versehen, weshalb Beipackzettel für Medikamente verpflichtend sind, damit Menschen vor Einnahme des Medikaments entscheiden können, ob sie dieses Medikament nutzen wollen. Beim AMS-Algorithmus fehlen hingegen sowohl klinische Studien als auch Beipackzettel. 

Dies ist so wichtig, weil man als Mensch, der vom Algorithmus betroffen ist, gar nicht die Möglichkeit hat, sich gegen den AMS-Algorithmus zu entscheiden. Man ist als Betroffene*r einem System ausgeliefert, dessen Risiken man selbst nicht abschätzen kann. Im Gesundheitsbereich ist die Vergabe von Medikamenten ohne Beipackzettel durch staatlichen Einrichtung nur schwer vorstellbar. Warum sollte dies dann bei der Verteilung von Ressourcen durch den AMS an Menschen in vulnerablen Positionen anders sein?

Florian Cech (TU Wien), Fabian Fischer (TU Wien), Soheil Human (WU Wien, Uni Wien), Paola Lopez (Uni Wien), Ben Wagner (WU Wien)

Hier geht es zu der futurezone-Serie:
Teil 1: Der AMS-Algorithmus ist ein „Paradebeispiel für Diskriminierung“
Teil 2: Warum Menschen Entscheidungen von Computerprogrammen nur selten widersprechen
Teil 3: Wie ihr euch gegen den AMS-Algorithmus wehren könnt
Teil 4: Wo Algorithmen bereits versagt haben
Interview: AMS-Chef: "Mitarbeiter schätzen Jobchancen pessimistischer ein als der Algorithmus"
Umstrittener AMS-Algorithmus teilt Arbeitslose ab sofort in Kategorien ein
Was der neue AMS-Algorithmus für Frauen wirklich bedeutet