Wie Google und Apple mit verbotenen Nackt-Apps immer noch Geld verdienen

Im Jänner sorgte Grok von Elon Musks xAI für eine weltweite Kontroverse: Der KI-Chatbot bearbeitete hochgeladene Fotos von Nutzern so, dass eine normal gekleidete Person danach im Bikini, in Dessous oder ähnlich freizügiger Kleidung zu sehen war. Vielen ging das zu weit und Länder planten Verbote der App. Später ruderte xAI zurück und sagte auf X, dass es derartige Anfragen künftig nicht mehr erlauben wolle.

Allerdings sind KI-Chatbots wie Grok nicht die einzigen digitalen Tools, die Menschen gegen ihren Willen entkleiden können. Zahlreiche Apps mit ähnlichen Funktionen kann man noch immer in den gängigen App-Stores finden, wie eine Analyse der Organisation Tech Transparency Project (TTP) zeigte – obwohl das eigentlich den Richtlinien von Apples App Store und dem Google Play Store widerspricht.

➤ Mehr lesen: Nach globaler Aufregung: X will Grok verbieten, Personen auszuziehen

Grok sei nur "Spitze des Eisbergs"

Insgesamt sollen solche verbotenen Apps 117 Millionen Dollar eingebracht haben, wobei die Betreiber Google und Apple ordentlich mitverdient haben dürften. Sie erhalten pro verkaufter App bis zu 30 Prozent Provision. Insgesamt wurden solche Entkleidungs-Apps weltweit mehr als 705 Millionen Mal heruntergeladen.

„Grok ist wirklich nur die Spitze des Eisbergs“, sagte Katie Paul vom Transparency Project zu The Register. „Die Beiträge kursierten auf X, also konnte sie die ganze Welt sehen. Aber mit einigen dieser anderen Apps lassen sich noch viel explizitere Inhalte erstellen, und genau das hat uns dazu gebracht, uns damit zu beschäftigen.“

Die Apps, die sich Paul und ihr Team anschauten, haben teils harmlos klingende Namen wie „AI Photo Generator“ oder „Dream Face“. Bei anderen klingt die Einsatzmöglichkeit schon durch, etwa bei „AI Kiss & Twerk Video-WonderSnap“. Insgesamt entdeckte TTP bis zum 21. Jänner 47 solcher Programme im App Store von Apple und 55 im Google Play Store.

Offiziell nicht erlaubt

Die Nutzungsrichtlinien sind eigentlich eindeutig. Im Play Store heißt es etwa, dass Produkte verboten sind, die „Darstellungen sexueller Nacktheit oder sexuell explizit-suggestive Posen“ zeigen, bei denen Personen „minimal bekleidet“ sind. Außerdem sind Apps verboten, die „Menschen degradieren oder objektifizieren, etwa Apps, die Menschen entkleiden oder durch Kleidung schauen, auch wenn es nur als Scherz oder Unterhaltung gedacht ist“. Bei Apple seien laut TTP alle Apps verboten, deren Inhalte „anstößig, unsensibel, verstörend, abstoßend, außergewöhnlich geschmacklos oder einfach nur gruselig“ sind. Auch „offenkundig sexuelles oder pornografisches Material“ ist laut den App-Store-Regeln untersagt.

➤ Mehr lesen: KI-Pornobilder von Stars: So ist die Gesetzeslage in Österreich

Laut der Organisation haben die Tech-Unternehmen aber bei der Zulassung der Apps für ihre Stores versagt, und die unverschämten Apps konnten sich ungehindert über die offiziellen Stores verbreiten. Apple soll inzwischen auf die Vorwürfe reagiert und zumindest 28 dieser Apps entfernt haben, wie CNBC berichtet. Auch Google soll bereits erste Schritte zur Beseitigung unternommen haben.

Obwohl es bisher nur wenige offizielle Zahlen darüber gibt, wer Opfer sogenannter Deepfake-Pornografie wird, zeigen Auswertungen, dass der Großteil der Entkleidungs-Anfragen bei Grok Frauen und Mädchen betraf. Das berichtete Bloomberg Anfang Jänner. Andere Analysen ergaben ein ähnliches Bild.

Einfacher Prompt für komplett nackte Frau

Bei ihrem Test hat das TTP-Team die kostenlosen Basis- oder Testversionen der Apps, die oft als normale Bild- oder Videogeneratoren oder Faceswap-Apps beworben werden, auch selbst ausprobiert: Sie stellten fest, dass sie damit Kleidung von Frauen teilweise oder sogar komplett entfernen konnten. Bei den Generatoren-Apps lädt man etwa ein Foto oder Video von einer Frau hoch und lässt sich dann eine neue Version generieren, bei der die Person in Unterwäsche oder komplett nackt zu sehen ist. Dazu reichen Prompts wie „Erstelle ein Video, in dem die Person ihr Kleid auszieht und posiert. Sie trägt nichts darunter.“ Einige der Apps waren sogar für Kinder ab 9 Jahren zugelassen.

➤ Mehr lesen: Google durchsucht dein Android-Handy jetzt auf Nacktbilder

Die Organisation sieht die Verantwortung für das Versagen klar bei den App-Store-Betreibern, die bei der Zulassung viele Funktionen dieser Apps übersehen oder vielleicht sogar absichtlich ignoriert haben. Es ist nicht die einzige Kontroverse: Bereits im Dezember deckte TTP auf, dass Apps mit direktem Bezug zu Ländern wie Russland oder China in Apples App Store zu finden sind, obwohl das gegen Sanktionen verstößt. Auch bei Googles Play Store gab es solche illegalen Apps, allerdings in geringerer Zahl.

„Diese Unternehmen vermarkten sich selbst als sicher und vertrauenswürdig“, meint Paul. „Auf ihren Seiten zur App-Entwicklung behaupten sie, sehr strenge Prüfverfahren anzuwenden – dazu gehört auch die Überprüfung auf Sanktionen. Wir sehen aber nicht, dass es in der Praxis umgesetzt wird.“