Porno-Deepfakes: „Es gibt Gruppen, die diskutieren das als Hobby“

Es ist eine Horrorvorstellung: Man findet ein explizites Nacktfoto von sich im Web, und das, obwohl man nie solche Aufnahmen angefertigt hat. Es ist für alle sichtbar – Familie, Freunde, Nachbarn und den Chef. Hier kann eine sogenannte Nudification-App dahinterstehen, die das eigene Gesicht täuschend echt auf pornografische Szenen montiert. 

Kaylee Williams forscht im Rahmen ihres Doktoratsstudiums an der Columbia University in New York zu generativer KI und „nonconsensual intimate imagery“ (NCII), das heißt intimen Bildern, die ohne Einwilligung der abgebildeten Personen erstellt oder verbreitet werden. 

Außerdem ist sie für die Information Integrity Initiative tätig, ein Projekt der philippinischen Journalistin und Friedensnobelpreisträgerin Maria Ressa. Dort untersucht sie gemeinsam mit Kolleginnen im Auftrag der Gleichstellungseinheit der Vereinten Nationen (UN Women) Online-Gewalt gegen Frauen, die in der Öffentlichkeit stehen. Wir haben mit ihr über Nudification-Apps und die Folgen von NCII gesprochen.

futurezone: Im deutschsprachigen Raum bekamen in den vergangenen Wochen 2 Fälle mutmaßlicher digitaler sexualisierter Gewalt breite Aufmerksamkeit: Schauspielerin Collien Fernandes hat ihren Ex-Mann Christian Ulmen angezeigt, weil er Fake-Pornos von ihr verbreitet haben soll. ORF-Direktor Roland Weißmann trat am Weltfrauentag zurück – eine Mitarbeiterin wirft ihm sexuelle Belästigung vor (bei beiden gilt die Unschuldsvermutung). Warum sind solche Fälle nicht nur für die 2 direkt betroffenen Frauen ein Problem?
Kaylee Williams: Ich habe von diesen Fällen gehört, aber weiß nicht genug darüber, um konkret dazu zu sprechen. Aber: Untersuchungen und rechtliche Analysen haben gezeigt, dass demokratische Werte leiden, wenn Belästigung und öffentliche Sexualisierung von Frauen einfacher und technisch zugänglicher werden. Denn es entsteht online und zunehmend auch offline ein toxisches Umfeld, in dem Frauen nicht auf die gleiche Weise zum öffentlichen Diskurs beitragen können wie Männer. 

Wenn eine Frau das Gefühl bekommt, dass z. B. ihr Engagement in der Politik oder in den Medien sie sexualisierter Gewalt ausliefert, das nicht nur persönliches Trauma auslöst, sondern auch ihrem Ruf, ihrer Karriere, ihrer Existenz schadet, dann sind die Kosten, am öffentlichen Diskurs teilzunehmen, viel höher als jede mögliche Belohnung. Eine Gesellschaft, die die Hälfte der Bevölkerung daran hindert, sich frei am öffentlichen Diskurs zu beteiligen, ist keine freie und keine demokratische Gesellschaft.

In Ihrer Studie für UN Women haben Sie den einschüchternden Effekt von Online-Gewalt gegen Frauen, die in der Öffentlichkeit stehen, untersucht. Was waren die wichtigsten Erkenntnisse?
Wir haben 640 Frauen aus 119 Ländern zu ihren Erfahrungen mit digitaler Gewalt befragt, darunter Journalistinnen, Menschenrechtlerinnen und Aktivistinnen. Wir beobachten bei ihnen einen schockierend hohen Anteil psychischer Erkrankungen und Berichte darüber, dass ihre Familien negativ beeinflusst werden. 

Vor allem im Journalismus und in der Politik passiert es, dass eine Frau in Zusammenhang mit ihrer Arbeit angegriffen wird. Die Bedrohungen und die Sexualisierung dehnen sich anschließend oft auf ihre Familie, auf ihre Töchter aus. Das ist ein Muster, das wir immer wieder sehen. Den Frauen entstehen häufig auch finanzielle Nachteile und sie berichten von Selbst-Zensur.

Vergangenes Jahr wurde Ihre Studie zur Normalisierung von NCII, d. h. „Deepfake-Pornografie“ veröffentlicht. Könnten Sie darüber erzählen?
Die Studie untersucht eine Auswahl von Nudification-Apps. Das sind generative KI-Modelle, die speziell dafür entwickelt wurden, gewöhnliche Fotos von Frauen – etwa aus sozialen Netzwerken oder Websuchen – in Nacktbilder zu verwandeln. Wir sehen Apps, die eine Art sexualisierter Comic-Darstellung oder Videos erstellen können, auf denen Personen zu sehen sind, die dem nicht zugestimmt haben. 

Woher kommen diese Apps?
Oft wissen wir das nicht. Sie werden häufig von Hobby-Programmierern auf Basis von Open-Source-Modellen wie Stable Diffusion entwickelt. Medienberichte zeigen, dass sie oft falsche Adressen oder Briefkastenfirmen einrichten, um die eigentlichen Besitzer zu verschleiern.

Wissen Sie, wer die Menschen sind, die solche Apps nutzen?
Ja und nein. Es ist schwierig zu sagen, weil ein so großer Teil dieses Verhaltens in anonymen Räumen stattfindet und nur wenige Daten über die tatsächlichen Nutzer dieser Apps gesammelt werden. Aber auf Basis von Inhaltsanalysen, die ich innerhalb dieser Apps und in Nutzerforen durchgeführt habe, kann ich sagen, dass sie weitestgehend männlich und von jungen Leuten dominiert sind. Es ist unklar, wie viele Minderjährige darunter sind.

Oftmals ist im Zusammenhang von Nudification-Apps die Rede von „Revenge Porn“. Intime Bilder werden demnach aus Rache veröffentlicht, etwa von gekränkten Ex-Partnern oder verschmähten Liebhabern. Was sagen Sie dazu?
Es gibt keinen „guten“ Grund, sich missbräuchlich oder sexuell gewaltsam zu verhalten, Punkt. Dennoch begründen Täter diese ganz bestimmte Art des Missbrauchs auf verschiedene Arten. In den USA ist die Auffassung verbreitet, dass NCII in diesem stereotypen Szenario entsteht: Ein junger Mann wird von einer jungen Frau – oft einer Ex-Freundin, oder eine Frau, die nicht mit ihm ausgehen wollte – betrogen oder abgelehnt, rastet aus und verschickt Nacktbilder von ihr. Das können Fotos sein, die sie ursprünglich konsensuell mit ihm geteilt hat, oder eben künstlich generierte sexualisierte Inhalte, ohne ihr Einverständnis. 

Und dem Stereotyp nach macht er das, um sich zu rächen, sie in ihre Schranken zu verweisen oder sie daran zu erinnern, welche Konsequenzen es hat, wenn man sich in romantischen und sexuellen Situationen gegen die männliche Dominanz auflehnt. Es gibt eine Menge Literatur, die bestätigt, dass solche Situationen tatsächlich vorkommen.

Doch es ist nicht die einzige und vor allem nicht die vorherrschende Art und Weise, auf die dieser Missbrauch stattfindet. Es gibt Täter, die Opfer missbrauchen, ohne sich an ihnen rächen zu wollen. Es gibt Gruppen, die diskutieren das als Hobby, als eine Form von Kunst oder eine Möglichkeit, sich selbst auszudrücken und nebenbei Frauen zu sexualisieren.

Kennen diese Männer die Opfer persönlich? Oder sind es zum Beispiel berühmte Frauen?
Wir haben nicht genug Daten, um das klar zu beantworten. Als Forscherin kann ich nicht sehen, was Menschen im Privaten tun, wir können nicht erheben, wie viele Menschen im Stillen Frauen sexualisieren.

Klar ist, die Motivation kann unterschiedlich sein – es kann sein, dass sie die Person bewundern und sich als Fan verstehen. Aber es kann auch sein, dass sie das tun, um eine Politikerin zu diskreditieren, deren Meinung sie nicht mögen. Das Problem ist viel breiter als nur Rache.

Diese Erkenntnis zeugt jedoch von einer noch schlimmeren Situation für die Opfer. Frauen werden mit allen möglichen Begründungen ins Visier genommen und das Ergebnis ist immer dasselbe: Sie leben infolgedessen in einer weniger freien, weniger demokratischen Gesellschaft.

Sie haben über den KI-Chatbot Grok von Elon Musk geschrieben, dass er im Bereich von künstlichen Nacktbildern eine besondere Rolle einnimmt. Warum?
Speziell Grok repräsentiert eine alarmierende technologische Entwicklung in diesem Bereich. Grok ist ein Werkzeug, mit dem man NCII erzeugen kann – das gab es schon vorher. Neu ist die Tatsache, dass es direkt in einer so prominenten Social-Media-Plattform wie X eingebettet ist. Das führt zu einer automatischen und sofortigen Distribution der generierten Bilder.

Zuvor musste man auf einen Chatbot oder eine App zurückgreifen, um missbräuchliche Inhalte zu erstellen und sie dann auf eine andere Plattform bringen, um sie zu veröffentlichen. Bei Grok kommen diese beiden Funktionen zusammen.

Was können Opfer tun?
Das hängt ganz davon ab, wo in der Welt sie sich befinden. Immer mehr Staaten greifen zu unterschiedlichen Maßnahmen. Viele westliche Länder haben dieses Verhalten unter Strafe gestellt, das heißt, Opfer können zur Polizei gehen und Anzeige erstatten. Den besten Rat, den ich Betroffenen geben kann, ist nachzulesen, wie die lokale Rechtslage ist.

Was passiert in den Fällen, in denen Menschen „hobbymäßig“ NCII erstellen und sich vielleicht gar nicht bewusst sind, dass sie damit Menschen schaden?
Persönlich habe ich lange dafür geworben, dieses Verhalten zu kriminalisieren. Aber inzwischen habe ich mehr darüber gelernt, wie Kinder in diesen Bereich hineingeraten und diesen Technologien begegnen, bevor sie sich der Schäden oder Risiken bewusst sind. 

Jetzt neige ich viel mehr dazu, Gesetzgeber anzuregen, bei den am besten ausgestatteten Akteuren anzusetzen, um dieses Problem in großem Maßstab anzugehen. Das heißt, Social-Media- und KI-Unternehmen als potenzielle Partner bei der Eindämmung dieser Inhalte zu sehen. Und ich denke, dass die Gesellschaft insgesamt mehr Verantwortung von den Plattformen einfordern sollte, die – unbeabsichtigt oder nicht – die Erstellung und Verbreitung dieser Inhalte unterstützen.