„AMS-Algorithmus sollte ganz abgedreht werden“

1,8 Millionen Euro hat ein Computersystem dem österreichischen Staat gekostet, dass die Arbeitsmarktchancen von Arbeitslosen berechnen sollte. Doch die Datenschutzbehörde hat vergangene Woche entschieden, dass das Arbeitsmarktservice (AMS) in Österreich den umstrittenen Algorithmus nicht wie geplant am 1. Jänner 2021 flächendeckend einführen darf.

Weil das AMS verabsäumt hat, eine Datenschutz-Folgeabschätzung durchführen zu lassen und aufgrund von Lücken in der Rechtslage, darf das System, das sich bereits im Testbetrieb befindet, nicht wie geplant an den Start gehen. Außerdem, kritisierte die Behörde, gäbe es für die Betroffenen derzeit keine Möglichkeit gegen eine Entscheidung zu berufen, heißt es in dem Bescheid.

"Routinemäßige Übergabe" der Ergebnisse

Die Einteilung in eine von insgesamt 3 Gruppen hätte darüber entschieden, wieviele Fördergelder für eine betroffene Person eingesetzt werden und ob das AMS jemandem etwa Kurse zur Fortbildung bezahlt, oder nicht. Für eine derartige Entscheidung herangezogen worden wären Kriterien wie Wohnort, Geschlecht, Betreuungspflichten oder Herkunft.

Sachbearbeiter hätten zwar laut dem AMS offiziell die Letztentscheidung darüber gehabt, doch die Datenschutzbehörde geht von einer „routinemäßigen Übernahme“ der Computerergebnisse aus. „In manchen Gebieten Österreichs beträgt die Beratungszeit bloß 10 Minuten. Weiters ist aufgrund der Ausnahmesituation rund um COVID-19 davon auszugehen, dass sich Berater vermehrt auf die automatisiert erstellten Ergebnisse verlassen“, heißt es seitens der Datenschutzbehörde.

"In Zeiten von COVID-19 Null Relevanz"

Einer, der von Anfang an kritisiert hatte, dass Sachbearbeiter sich in der Regel bei Entscheidungen häufig auf Computersysteme verlassen, ist Florian Cech, Forscher am Center for Informatics and Society an der Informatikfakultät der TU Wien. „Ich würde sagen, dass der operative Einsatz des AMS-Algorithmus eine verlorene Sache ist und der AMS-Algorithmus daher ganz abgedreht werden sollte“, sagt Cech im Gespräch mit der futurezone.

„Die Gefahren sind zu groß, und es ist nahezu unmöglich Rechtskonformität herzustellen. Die Daten, die vor COVID-19 gesammelt worden sind, sind mittlerweile außerdem über Jahre hinweg komplett irrelevant, weil sich der Arbeitsmarkt komplett verändert hat. Die haben Null Relevanz für ein Lebensumfeld wie jetzt in Zeiten von COVID-19“, sagt Cech.

Zwar sei es möglich, eine Datenschutz-Folgeabschätzung nachzuholen, so der Forscher, aber einen rechtlichen Rahmen für ein derartiges System zu schaffen, sei wesentlich schwieriger. „Es gibt keine gesetzlichen Regelungen für diese Art von Profiling in Österreich. Das müsste man erst komplett entwickeln und rechtliche Voraussetzungen schaffen“, so Cech.

Für den totalen Stopp

Auch Lisa Seidl, Juristin beim Datenschutzverein epicenter.works, sieht dies aus rechtlicher Sicht ähnlich: „Es ist äußerst schwierig, das gesetzeskonform umzusetzen.“ Auch Seidl plädiert als Sprachrohr des Vereins dafür, den AMS-Algorithmus vollständig eingestellt wird und hatte sich auch erst kürzlich in einer Petition genau dafür ausgesprochen. „Das Problem ist: Anstatt dass Daten erhoben werden, mit denen man sinnvolle Aussagen über Arbeitsmarktchancen treffen kann, wird geschaut, was man aus Daten, die bereits gesammelt werden, machen kann - aber ohne zu wissen, ob diese überhaupt aussagekräftige Ergebnisse bringen.“ Gerade in der Corona-Krise seien die in der Vergangenheit gesammelten Daten nicht mehr relevant, heißt es.

Diagnosewerkzeug für ein Gesamtbild?

Doch die 1,8 Millionen schwere Entwicklung müsste nicht komplett umsonst gewesen sein: Laut Cech von der TU Wien könnte das Programm als Evaluierungstool für die Management-Ebene dienen. „Man könnte sich die Chancen einzelner Gruppen im Vergleich zur Gesamtpopulation ansehen, anstatt damit Entscheidungen über die Leben einzelner Menschen zu treffen“, so Cech.

Das sieht auch die Forscherin Paola Lopez von der Uni Wien so. „Solche mathematischen algorithmischen Systeme können in vielen Anwendungszusammenhängen sinnvoll und brauchbar sein, ohne diskriminierende und datenschutzrechtlich unzulässige Ergebnisse zu produzieren“, sagt Lopez im Gespräch mit der futurezone. Man könnte das Modell als Diagnosewerkzeug einsetzen, um die österreichische Arbeitsmarktsituation statistisch zu analysieren, so ihr Vorschlag. Alles andere sei aus Lopez Sicht ineffizient - und diskriminierend. Und dem AMS ging es bei dem System in erster Linie darum, effizienter zu werden bei der Beurteilung.

„Es stellt sich die Frage, ob ein ständig zu evaluierendes, stets zu kontrollierendes, mit Mechanismen und notwendigen Schulungen der Beraterinnen und Beratern versehenes, Gesetzesänderungen bedingendes, medial stark kritisiertes System wirklich insgesamt Kosten reduziert sowie geplant oder ob nicht ein unerwarteter Rattenschwanz an eben genannten Konsequenzen auch noch die Effizienz kippt“, sagt die Mathematikerin.

Testphase läuft weiter

Unterdessen läuft die Testphase des AMS-Algorithmus ungehindert weiter. „Die Datenschutzbehörde untersagt dem AMS, den Einsatz ab dem 1.1.2021. Bis dahin ist der Testbetrieb zulässig“, so das AMS auf futurezone-Anfrage. Obwohl die Sachbearbeiter derzeit aufgrund der Corona-Krise noch gar keine Schulungen für den AMS-Algorithmus bekommen haben, erhalten sie die Ergebnisse, die auf Daten beruhen, die vor der Corona-Krise relevant waren, bei jeder Beratung angezeigt. Das AMS hat zudem noch nicht entschieden, ob es den Bescheid der Datenschutzbehörde anfechten wird. „Die internen Beratungen dazu sind noch nicht abgeschlossen“, heißt es. Das für gesetzliche Änderungen zuständige Arbeitsministerium reagierte auf eine Anfrage der futurezone nicht.

Hier geht es zu der futurezone-Serie:
Teil 1: Der AMS-Algorithmus ist ein „Paradebeispiel für Diskriminierung“
Teil 2: Warum Menschen Entscheidungen von Computerprogrammen nur selten widersprechen
Teil 3: Wie ihr euch gegen den AMS-Algorithmus wehren könnt
Teil 4: Wo Algorithmen bereits versagt haben
Interview: AMS-Chef: "Mitarbeiter schätzen Jobchancen pessimistischer ein als der Algorithmus"
Umstrittener AMS-Algorithmus teilt Arbeitslose ab sofort in Kategorien ein