Herrschaft der Algorithmen: "Wir müssen auch über Verbote reden"

Carla Hustedt arbeitet bei der Bertelsmann Stiftung in Berlin am Projekt "Ethics of Algorithms". In dieser Funktion beschäftigt sie sich mit der zunehmenden Bedeutung von Algorithmen im Alltag. Schon heute entscheiden automatisierte Systeme darüber, ob Menschen Kredite oder Jobs bekommen. Im Extremfall, etwa bei autonomen Militärdrohnen, kann es sogar um Leben oder Tod gehen. Carla Hustedt glaubt nicht, dass sich der Trend zu mehr maschinengestützten  Entscheidungen aufhalten lässt. Sie plädiert für eine breite Debatte über die möglichen Konsequenzen und die Schaffung von Rahmenbedingungen, die negative Auswirkungen verhindern. Die futurezone hat Hustedt bei der Börsianermesse in Wien zum Interview getroffen.

futurezone: Warum ist es wichtig, über Algorithmen zu sprechen?
Carla Hustedt: Algorithmen sind nichts, was uns erst in ferner Zukunft beschäftigen sollte. Schon heute entscheiden Maschinen tagtäglich über und für uns Menschen. Sie betreffen uns alle und sind deshalb ein Politikum. Algorithmen legen fest, wo zukünftige Studierende später zur Uni gehen, wo Polizisten Streife fahren, wer Kredite bekommt und wer zum Vorstellungsgespräch eingeladen wird. Im Idealfall sind die Entscheidungen konsistent und deshalb fairer, als die häufig undurchsichtigen Entscheidungen von Menschen. Wir Menschen lassen uns von Vorurteilen beeinflussen und können mit großen Datenmengen nicht umgehen. Algorithmen sind deshalb eine große Chancen für die ganze Gesellschaft. Jetzt kommt das große Aber: Wir profitieren nur, wenn wir die Rahmenbedingungen richtig gestalten.

Wir sitzen auf der Börsianermesse. Ist High-Frequency-Trading ein Beispiel dafür, was mit Algorithmen schiefgehen kann?
Die Algorithmen der Hochfrequenzhändler können innerhalb von Nanosekunden neue Informationen verarbeiten. Das bedeutet aber auch, dass Fehler sich in Windeseile verbreiten. Menschen irren auch, aber wenn ein Algorithmus falsch entscheidet, sind viel mehr Menschen betroffen. Auf dem Börsenmarkt kann es passieren, dass die Algorithmen mehrerer Hochfrequenzhändler innerhalb kürzester Zeit eine große Zahl an Verkäufen ausführen, obwohl es dafür keine realwirtschaftliche Grundlage gibt. Das führt dann zu einem Flash-Crash, einem plötzlichen und extremen Preissturz. In kleinerem Ausmaß passieren Flashcrashs mittlerweile tagtäglich. Das Problem besteht aber auch in anderen Bereichen: In Australien wird Steuersoftware eingesetzt, die überprüft, ob Menschen Sozialleistungen zurückzahlen müssen. Das System verschickt 20.000 Mahnschreiben pro Woche, dafür hat das Ministerium früher ein Jahr gebraucht. Dadurch werden aber natürlich auch mehr Fehler gemacht. Das ist die Kehrseite der Effizienz dieser Systeme. In Bereichen, in denen sie über das Leben von Menschen entscheiden, müssen wir deshalb Vorkehrungen treffen, etwa indem wir die Systeme testen, bevor und während wir sie einsetzen. Man muss sich auch bewusst darüber sein, dass die zugrundeliegenden Daten in der Regel unvollständig und fehlerhaft sind.

Ist die Börse nicht auch ein Bereich, der über Leben entscheidet?
Klar. Allerspätestens seit der Finanzkrise wissen wir, dass sich der Finanzhandel unmittelbar auf die Realwirtschaft auswirkt – und das teilweise fatal. Durch den Hochfrequenzhandel entsteht eine extreme Unsicherheit an den Märkten und Preise verlieren ihren Bezug zu realen Werten. Für Unternehmen wird es somit schwerer, längerfristig zu planen. Investitionen in Aktionen, die sich erst langfristig auszahlen, wie etwa den Kampf gegen die Klimaveränderung, nehmen somit ab.

Solche Systeme wetten auch gegen Pensionsfonds. Warum setzt man sie überhaupt ein?
Die Hochfrequenzhändler profitieren natürlich davon. Die bessere Frage wäre, warum die Kontrolle so schlecht ist. Die Aufsichtsbehörden sind überfordert. 2003 lag der Anteil des automatisierten Handels noch bei 15 Prozent, heute liegt er bei circa 90 Prozent. Zugleich sind die verschiedenen Akteure immer stärker miteinander vernetzt und die Anzahl der digitalen Handelsplätze ist in den letzten Jahren extrem gestiegen. Die Kontrollbehörden konnten mit diesen Zuwächsen nicht annähernd mithalten. Man braucht Personal und Ressourcen, um Kontrolle zu gewährleisten. Man bräuchte auch Zugang zum Programmier-Code der Handels-Algorithmen, um zu verstehen, nach welchen Kriterien Kaufentscheidungen getroffen werden

Ist eine Kontrolle in Echtzeit nicht aussichtslos?
Wir brauchen hier ein grundsätzliches Umdenken. Die Politik muss überprüfen, ob bestehende Regulierungen umgesetzt werden können und wo zusätzliche Regulierung notwendig ist. Es gibt zum Glück ein wachsendes Forschungsfeld, das sich mit dem Auditing von algorithmischen Systemen auseinandersetzt. Wir müssen sicherstellen, dass die Fortschritte, die in der Wissenschaft gemacht werden, auch in die Praxis ankommen. Wir arbeiten in der Bertelsmann-Stiftung an der Entwicklung eines Gütekriterienkatalogs für algorithmische Prozesse. Da geht es um Dinge wie Folgenabschätzungen, Dokumentation von Datenqualität und Verträglichkeitsprüfungen. Also um die Frage, wie eine externe Überprüfbarkeit und Nachvollziehbarkeit ermöglicht werden kann. Gerade weil es unmöglich ist, jede einzelne Entscheidung oder algorithmische Handlung zu kontrollieren, müssen wir Vertrauen in die Entstehungsprozesse von Software schaffen.

Die Frage ist, ob das am Ende ausreicht, bei wichtigen Entscheidungen.
Wir brauchen eine gesellschaftliche Debatte über diese Themen. Es muss auch darum gehen, ob wir dem Einsatz von Algorithmen Grenzen setzen. Wir müssen auch über Verbote reden. Bei autonomen Waffensystemen wird das schon diskutiert, in anderen Bereichen aber noch nicht. Man könnte Systeme auch künstlich verdummen oder in bestimmten Bereichen keine selbstlernenden Algorithmen einsetzen. Unternehmen neigen häufig dazu, zu komplexe Systeme zu nutzen, weil sie das Beste wollen, was es auf dem Markt gibt. Im Zweifelsfall sollte bei ähnlicher Funktionalität immer das System bevorzugt werden, das weniger komplex und leichter verständlich ist. Das Landeskriminalamt Nordrhein-Westfalen hat bei der Entwicklung seines Predictive Policing Systems zum Beispiel sowohl einen Entscheidungsbaum-Algorithmus als auch ein neuronales Netz getestet und festgestellt, dass beide Systeme eine ähnliche Prognosequalität haben. Daher haben sie sich am Ende für den Einsatz des Entscheidungsbaumes entschieden, weil die Entscheidungen dieses Systems wesentlich transparenter und besser nachvollziehbar sind.

Regierungen setzen bereits auf Gesichtserkennungssysteme oder scharren zumindest in den Startlöchern. Kommt eine Debatte da nicht etwas spät?
In Deutschland wurden Gesichtserkennungssysteme zur Erkennung von Kriminellen bisher nur getestet. Das hat kurzfristig eine Debatte ausgelöst, die aber schnell wieder vorbei war. Das ist ein unglaublich sensibler Bereich und dahinter verbergen sich Gefahren, die uns noch gar nicht bewusst sind. Am MIT gibt es das Projekt “Gender Shades“, das zeigt, dass Gesichtserkennungssysteme für dunkelhäutige Menschen und Frauen viel schlechter funktionieren. Das hat bereits jetzt Auswirkungen auf das Leben von Menschen, denn diese Systeme werden zum Beispiel bei der Passkontrolle am Flughafen eingesetzt. Dort werden Menschen mit dunklerer Hautfarbe ohnehin schon überdurchschnittlich oft für genauere Kontrollen ausgewählt. Durch den Einsatz von Gesichtserkennungssoftware könnte sich das Problem verstärken. Wir sollten uns daran orientieren, was gesellschaftlich sinnvoll ist, nicht daran, was technisch möglich ist. Die Diskussion wird da auch zu oft von Hollywoodszenarien geprägt. Dadurch wird vergessen, dass die wirkliche Gefahr nicht die Technik ist, sondern die Art und Weise, wie sie eingesetzt wird. Am Ende sind es Menschen – und nicht zuletzt der Gesetzgeber -, die darüber entscheiden, ob Sicherheit wichtiger ist als Freiheit oder Privatsphäre.

Zeigen Entwicklungen wie der Social Credit Score in China nicht, dass die Grenze zur Hollywood-Szenarien schon schmal ist?
Ein Blick in das Dystopische, vor allem, wenn es an anderen Orten auf der Welt schon Realität ist, kann nicht schaden. Es hilft dabei, sich zu erinnern, was man hat und was man nicht möchte. Was ich mit Science-Fiction-Szenarien meine, ist vor allem die Warnung vor superintelligenten Maschinen, die irgendwann anfangen, die Menschheit auszurotten. Dabei ist das Problem im Moment nicht die Intelligenz, sondern die Dummheit dieser Systeme. Sie werden von Menschen gebaut und eingesetzt und sind dementsprechend auch nicht perfekt. Ob es jemals eine KI geben wird, die so intelligent ist wie der Mensch, ist nicht klar und wird von vielen Wissenschaftlern bezweifelt. Der Diskurs muss sich vor allem um die Risiken drehen, die jetzt schon bestehen.

Wir beurteilen Sie die Machtkonzentration bei den großen Tech-Konzernen?
Wissen und Daten sind konzentriert. Wir brauchen aber eine Vielfalt von Systemen, Entwicklern und Betreibermodellen, sonst droht die systematische Diskriminierung von Menschen. Die Fortschritte im Bereich KI kommen zum einen durch stärkere Hardware und zum anderen durch riesige Datenmengen. 75 Prozent des Datenverkehrs im Netz bestehen heute aus Anwendungen von Google und Facebook. Diese Firmen sitzen auf riesigen Datenschätzen und teilen sie nicht. Das ist ein Punkt, an dem wir ansetzen müssen. Wenn wir Vielfalt fördern wollen, dann müssen wir Daten öffentlich zugänglich machen. Das betrifft nicht nur Daten, die von der Öffentlichkeit generiert wurden, sondern auch die, auf denen die Firmen sitzen. Nur so kann man Innovationen fördern. Zudem sollte der Staat nicht nur regulieren, sondern auch gestalten – und beispielhaft bei gemeinwohlorientierter KI-Innovation vorangehen.

Algorithmische Systeme benötigen eine Vielfalt von sensiblen Daten. Der Datenschutz ist heute schon problematisch. Wie soll das in Zukunft weitergehen?
All die Firmen, die mit den Daten Ihr Geld verdienen, brauchen klare Grenzen und Regeln. Die Datenschutzgrundverordnung ist in meinen Augen ein erster wichtiger Schritt. Man kann und muss auch hier über Details diskutieren, denn insbesondere für einige algorithmische Anwendungen greift die Verordnung zu kurz. Sie gilt beispielsweise nur für vollautomatisierte und nicht für entscheidungsunterstützende Systeme. Unabhängig davon hat sich aber gezeigt, dass europäische Lösungen möglich sind. Gerade die Datenschutz-Frage ist national nicht mehr zu beantworten. Die Datenschutzgrundverordnung ist das erste Regulativ, das die Techfirmen grenzübergreifend unter Aufsicht stellt und sich zu einem globalen Standard entwickeln könnte. Auch im Silicon Valley schaut man hier sehr aufmerksam nach Europa.

Das betrifft legale Datennutzung. Was ist mit illegalem Zugriff?
Das Thema Sicherheit ist noch einmal ein ganz anderes. Hier liegt eine immense Verantwortung bei den Entwicklern und den Organisationen, die die Systeme einsetzen. Zum Glück wird hier immer mehr in Forschung investiert und es entwickeln sich zunehmend Geschäftsmodelle, die Datensicherheit als Kern ihrer Leistung definieren. Am Ende ist es ja auch im Interesse der Unternehmen, dass ihre Daten und Algorithmen vor externen illegalen Zugriffen geschützt werden.