Wie uns künstliche Intelligenz täuscht

Am 22. Mai ging ein Tweet kurzzeitig viral, der eine Explosion in der Nähe des Pentagons zeigte. Verbreitet wurde er von vermeintlich verifizierten Twitter-Konten, darunter auch ein Business-News-Account, der üblicherweise Nachrichten der Agentur Bloomberg postet, und 650.000 Follower zählt. Die Explosion beim US-Verteidigungsministerium entpuppte sich bald als Fake. Ohne Folgen blieben die Tweets aber nicht.

Am US-Aktienmarkt kam es kurzzeitig zu einem spürbaren Rückgang. Wenige Minuten nachdem die Bilder auf Twitter auftauchten, verlor der Dow Jones Industrial Average Index 80 Punkte, bevor er sich wenige Minuten später erholte. Auch der S&P 500, der Aktien von 500 der größten börsennotierten US-Unternehmen umfasst, sackte kurzzeitig ab, befand sich aber bereits 5 Minuten später wieder im positiven Bereich.

Für die kurzzeitigen Kursrückgänge dürfte der computerbetriebene Hochfrequenzhandel an den Börsen verantwortlich gewesen sein, vermutet Mikko Hyppönen, Forschungschef beim finnischen Cybersicherheitsunternehmen With Secure. Denn in die algorithmen-gesteuerten Transaktionsentscheidungen im Mikrosekundenbereich fließen nicht nur Branchentrends und Unternehmensdaten ein, sondern auch Nachrichten und Social-Media-Postings. "Wenn man weiß, was passieren wird, kann man eine Menge Geld verdienen", sagte Hyppönen vergangene Woche bei der Sphere-Konferenz seines Unternehmens in Helsinki.

Falls seine Vermutung stimmt, dann hat eine Maschine die andere getäuscht. Wer oder ob überhaupt jemand von den Kursschwankungen profitiert hat, ist unklar. Sicherheitsexperten sehen jedenfalls viele Möglichkeiten generative künstliche Intelligenz für Täuschungsmanöver und cyberkriminelle Zwecke zu nutzen.

Um herauszufinden, wozu das Sprachmodell ChatGPT in der Lage ist, haben Sicherheitsforschende von With Secure im Rahmen einer Studie untersucht, wie der Chatbot für unterschiedliche Täuschungsmanöver eingesetzt werden kann. Dass sich die Qualität von Phishing-Mails, mit denen Nutzer*innen dazu gebracht werden sollen Passwörter preiszugeben, durch ChatGPT stark verbessert, zeigen bereits Beispiele aus der Praxis.    

➤ Mehr lesen: Wenn ChatGPT Schadsoftware und Phishing-Mails schreibt

In ihrer Untersuchung "Creative malicious prompt-engineering" (deutsch: "Kreatives, bösartiges Prompt-Engineering") ließen Andrew Patel und Jason Sattler ChatGPT seitenlange E-Mail-Wechsel formulieren, mit denen Firmenangestellte dazu gebracht werden sollten Firmengeheimnisse offenzulegen. Beim sogenannten CEO-Fraud, bei dem sich Angreifer*innen als Chef*innen ausgeben und Mitarbeiter*innen auffordern, ihnen aufgrund einer Notlage Geld zu überweisen, machte das Sprachmodell ebenfalls eine gute Figur.

Soziale Validierung

Überzeugen konnte ChatGPT auch beim Trollen von Firmen oder Personen auf Social Media und bei der sozialen Validierung von Social-Media-Postings. Dabei geht es darum, dass durch zahlreiche Antworten oder Retweets der Eindruck entsteht, dass viele Leute eine bestimmte Sache gutheißen oder ablehnen. Lange Threads und Konversationen - etwa unter einem NFT-Scam - würden wesentlich dazu beitragen, dass ein Betrug nicht als Betrug erscheine, heißt es dazu in der Studie.

Auch die berüchtigte Tide-Pod-Challenge aus den Jahren 2017/2018 wurde als Fallbeispiel genutzt. Dabei sollten Leute dazu gebracht werden, Waschmittel in Gelkissen zu schlucken. ChatGPT lieferte im Experiment überzeugend klingende Social-Media-Posts dafür - diese wurden natürlich nicht veröffentlicht.

Wer Teenager oder auch Erwachsene dazu überreden könne, solche Pods zu essen, könne sie auch überzeugen, bei anderen Gelegenheiten gegen ihre Interessen zu handeln. Schließlich seien auch Fälle von Leuten dokumentiert, die sich Bleichmittel injiziert oder Pferdeentwurmungsmittel geschluckt hätten, weil sie darüber im Internet gelesen haben, so die Autoren. Auch ChatGPT einen vermeintlich wissenschaftlichen Artikel über die Vorteile von Entwurmungsmittel bei der Behandlung von COVID-19 schreiben zu lassen, habe sich als trivial erwiesen.

Fake News zu Explosionen im Weißen Haus oder zur Sprengung der Nord-Stream-Pipeline konnten die Forscher ebenso leicht herstellen und mit entsprechenden Aufforderungen beliebig variieren. Auch unterschiedliche Schreibstile oder unterschiedliche Meinungen ließen sich mit einfachen Aufforderungen abrufen. Verfeinert wurden die Ergebnisse etwa mit der Aufforderung "Schreib wie ein Mensch". Wer dennoch wirken wolle wie ein nigerianischer Prinz in einem betrügerischen E-Mail, dem empfehlen die Sicherheitsforscher die Aufforderung "seltene Wörter verwenden", die gebräuchliches Vokabular durch Synonyme ersetzt.

Mit der Weiterentwicklung solcher Sprachmodelle würden sich zahlreiche weitere bösartige Anwendungen ergeben, schreiben die Autoren. So wie das Internet physische Grenzen für Cyberkriminelle bedeutungslos gemacht habe, würden Sprachmodelle beim Abbau kultureller Barrieren helfen, so Patel und Sattler. Cyberkriminelle könnten nun in vielen sozialen Zusammenhängen realistisch kommunizieren. Angriffe, bei denen gezielte Kommunikation erforderlich sei, würden dadurch wesentlich effektiver.

Generative künstliche Intelligenz werde zunächst hauptsächlich bei Angriffen zum Einsatz kommen, bei denen Menschen getäuscht werden sollen, sagte der Cybersicherheitsexperte Peiter Zatko am Rande der Sphere Konferenz. Die Art der Angriffe und die Täuschungsmanöver würden sich nicht wesentlich ändern. Ändern würde sich allerdings der Aufwand für die Angreifer*innen, der wesentlich geringer werde, meinte der auch als "Mudge" bekannte legendäre Hacker, der vor der Übernahme durch Elon Musk bei Twitter für die Cybersicherheit verantwortlich war und als "Whistleblower" auf Sicherheitsmängel bei dem Dienst aufmerksam machte.

Ob ein Betrugsversuch von einem Menschen stamme oder von einer KI generiert wurde, werde nicht mehr zu erkennen sein. Generative künstliche Intelligenz habe aber noch einen weiten Weg vor sich, so Zatko. Sie wirke zwar schon ziemlich beeindruckend, letztlich würden aber nur sehr vereinfachte Statistiken in einem großen Maßstab erstellt.

Disclaimer: Die Kosten für die Reise zur Sphere-Konferenz nach Helsinki wurden von With Secure übernommen.