Algorithmus, der über Sozialbetrug entscheidet, verletzt Privatsphäre

Ob Menschen den niederländischen Staat betrügen oder nicht hat das Betrugserkennungssystem SyRI automatisiert berechnet. SyRI wurde dazu mit unterschiedlichen Daten gefüttert, um dann ein Risikoprofil zu erstellen.

Das System wurde am Mittwoch offiziell von Richtern für nicht vereinbar mit den Menschenrechten erklärt. Es verletze das Recht auf Privatsphäre und müsse sofort gestoppt werden. Das berichtet der "Guardian".

SyRI wurde 2014 vom Sozialministerium ins Leben gerufen, um vier lokalen Behörden zu ermöglichen, Listen von Menschen zu erstellen, die potentiellen Sozialbetrug planen – sei es, sich billige Wohnungen zu sichern oder andere Sozial-Benefits zu erhalten.

Intransparente Kritierien

Die Kläger, mehrere Gruppen, die sich auf Datenschutz und Privatsphäre spezialisiert haben, hatten das System für illegal gehalten, weil es Menschen zu Verdächtigen macht und diese nicht einmal widersprechen können. SyRI sei zudem komplett intransparent – die Kriterien, wie ein Score zustande kommt, sind völlig im Dunklen.

Das automatisierte Entscheidungssystem zur Erkennung von Sozialbetrug war zuvor bereits vom UN-Menschenrechtsberichterstatter Philip Alston kritisiert worden, der dem Gericht sagte, dass das System Menschen mit wenig Geld und einem Minderheiten-Hintergrund bewusst diskriminiere.

Wegweisendes Urteil

Für Alston sei das Urteil ein „klarer Sieg für alle, die darüber besorgt sind, dass digitale Sozialsysteme eine Bedrohung für Menschenrechte sind“. Die Entscheidung sei zudem „wegweisend“, um auch andere automatisierte Entscheidungssysteme zu stoppen, die über Menschen urteilen.

Das Gericht urteilte, dass das System gegen Artikel 8 der Menschenrechtskonvention verstößt. Vergangenes Jahr hatte der Bürgermeister von Rotterdam dem System bereits den Stecker gezogen, weil es „zu weit“ gegangen sein soll. Es sei zudem unklar, ob das System jemals wirklichen Sozialbetrug erkannt habe, berichtet „Dutchnews“.

AMS-Algorithmus

Derartige Systeme sind in ganz Europa gerade im Kommen. In den USA gibt es sie schon seit längerem. In Österreich entscheidet ab Juni der AMS-Algorithmus darüber, was für Arbeitsmarktchancen Menschen haben. Das System ist allerdings nur teilautomatisiert, weshalb es nicht ganz mit dem SyRI vergleichbar ist. Hier sollen am Enden noch Menschen entscheiden und man will sich nicht zu hundert Prozent auf errechnete Statistiken verlassen. Die Regierung hat zudem versprochen, das System noch evaluieren zu wollen.