Snapchats My AI gibt sich als Freundin aus: Ist der Bot gefährlich?

„Sag HI zu My AI“: Dieses Fenster poppt in der App Snapchat seit vergangenen Freitag bei österreichischen Nutzer*innen von ganz alleine auf. Im Instant-Messaging-Dienst der App ist ein neuer, experimenteller Chatbot integriert. „Im Gegensatz zu anderen Chats mit Freunden werden alle Inhalte mit My AI gespeichert, wenn du sie nicht löscht“, heißt es in der Begrüßung, sofern man diese nicht einfach mit einem Click auf „Akzeptieren“ schließt. Der Chatbot basiert auf ChatGPT, einem Sprachmodell mit künstlicher Intelligenz (KI).

Optisch hat Snapchat My AI mit einem grünen Gesicht und pinken Haaren und Augenbrauen ausgestattet, so dass Kinder und Jugendliche gleich erkennen, dass es sich dabei nicht um einen Menschen handelt. My AI speichert aber nicht nur alle Chats, um die Daten mit dem Betreiber zu teilen, sondern verwendet auch die Ortsangaben, sofern man diese für die App freigegeben hat. Über sich selbst sagt My AI übrigens, dass man sich auf die Ratschläge nicht verlassen solle, weil auch „falsche oder irreführende Antworten“ möglich seien.

"Nichts Bedenkliches gefunden"

Der Chatbot gibt sich auch als Freund*in aus. Sie steht ganz oben in der „Freundesliste“ im Chat und kann von dort auch nur über einen Umweg wieder entfernt werden. Ist die neue KI-Funktion für Kinder und Teenager gefährlich? Wir haben bei der Saferinternet.at-Trainerin und Social-Media-Expertin Barbara Buchegger nachgefragt. „Die Bestrebung wird wie bei allen Chatbots erst einmal sein, den Bot aus der Reserve zu locken. Das ist das übliche Verhalten, das Kinder und Jugendliche an den Tag legen, wenn sie mit Bots interagieren“, beschreibt Buchegger.

Die Expertin hat den Chatbot gemeinsam mit Psycholog*innen von „Rat auf Draht“ ausprobiert. „Inhaltlich haben wir nichts Bedenkliches gefunden. Wir haben auch nach Ritzen, Selbstmord, und anderen heiklen Themen befragt. Das Einzige, das uns aufgefallen ist, dass österreichische Anlaufstellen bei psychologischen Problemen gefehlt haben. Stattdessen werden deutsche oder US-amerikanische genannt. Hier besteht noch Nachholbedarf“, sagt die Saferinternet-Expertin.

Datenhunger unbedingt thematisieren

Dass My AI die Chats speichert und auch die Daten mit Snapchat teilt, findet Buchegger „problematisch“. „Darüber sollte man mit Kindern und Jugendlichen sprechen. Je mehr man aber als Erwachsener ein Feindbild aufbaut und die KI-Nutzung untersagt, desto interessanter wird sie werden“, warnt Buchegger davor, My AI komplett zu verteufeln. Eltern sollten in Gesprächen mit ihrem Nachwuchs jedoch auf jeden Fall „verdeutlichen, dass es eine Maschine ist, mit der sie sprechen“, so Buchegger. „Kinder müssen sich bewusst sein, dass das, was sie eingeben, aber auch von Menschen ausgewertet werden kann.“

Kurzer Selbsttest

Berichte, wonach eine vermeintlich 13-Jährige zu Kerzen geraten worden sei, als sie ein Sex-Date mit einem 37-Jährigen plante, kann Buchegger nicht bestätigen. „Das Szenario haben wir ausprobiert und hier hat My AI massiv davon abgeraten, den Älteren zu treffen“, so Buchegger.

Im kurzen futurezone-Test erklärt My AI auf die Frage „Wohin kann ich Mittagessen gehen?“, dass man dazu seinen Standort mit Snapchat teilen müsse. Ohne das Thema im weiteren Gesprächsverlauf zu adressieren, kommt der Chatbot immer wieder auf diese Information zurück und fordert mich mehrfach dazu auf, den Standort freizugeben und erklärt in einer 1:1 Anleitung, die ich nicht eingefordert hatte, wie das genau funktioniert.

So wird man den KI-Chatbot wieder los

Wer den datenhungrigen Chatbot nach kurzem Ausprobieren also aus seinem Snapchat-Profil wieder entfernen möchte, muss einen Umweg nehmen und verliert dabei auch die gespeicherten Chatnachrichten mit seinen Freund*innen. Es ist dafür notwendig, sich bei Snapchat im Webbrowser einzuloggen, und dort den Eintrag My AI“ aus dem Chatfeed zu löschen. Danach muss jedoch auch die Snapchat-App am Smartphone zuerst deinstalliert und danach wieder neu installiert werden. Wer das kostenpflichtige Snapchat+ nutzt, wird My AI einfacher wieder los.

Aktuell wirkt sich die „bloße Existenz“ von My AI negativ auf Snapchat-Bewertungen aus. „Wenn ihr schon der Meinung seid auf jeden dämlichen Trend aufspringen zu müssen und nun sogar einen AI ChatBot hinzufügt, gebt mir zumindest die Möglichkeit den Müll auszublenden", lautet etwa eine Rezension im Google Play Store. Laut der Expertin Buchegger wollen nicht alle Kinder und Jugendliche My AI ausprobieren. Obwohl gerade am Anfang viele Nutzer*innen von der automatischen Integration von My AI genervt waren, denkt Buchegger, dass die Funktion „einfach ausgeblendet und ignoriert wird“, wenn sie den Nutzer*innen nicht gefalle.