KI-Browser fallen auf Betrüger leichter herein als Menschen

Agentenbasierte KI-Browser wie Comet von Perplexity sollen uns einen Teil unserer täglichen Bildschirmarbeit abnehmen. Ein Bericht des Cybersicherheits-Start-ups Guardio zeigt jetzt aber, dass diese KI-Browser leicht auf Betrugsmaschen hereinfallen, die viele Menschen problemlos erkennen würden. Sie nennen diese neue Ära Scamlexity. 

Die Sicherheitsforscher haben getestet, wie sicher man im Internet mit Comet unterwegs ist. Sie haben die KI in 3 verschiedenen Szenarien getestet und fassen das Ergebnis so zusammen: “Ein kleiner Schritt für KI-Agenten, ein großer Rückschritt für unsere Sicherheit!”

➤ Mehr lesen: ChatGPT kann jetzt für dich im Internet browsen

Alte Scams sind neu für Comet

Agentenbasierte KI-Browser wie Comet können für uns klicken, Dateien downloaden oder sensible Date eingeben. Was dabei alles schief gehen kann, wurde in mehreren Szenarien getestet.

Sie haben etwa Comet gebeten, eine Apple Watch zu kaufen. Dafür haben sie mit KI eine Fake-Walmart-Website erstellt. Sie hatte ein sauberes Design, eine realistische Produktpalette und einen realistischen Check-Out-Prozess, um die KI zu täuschen. 

Es gab aber Red Flags, wie eine fehlerhafte URL und ein gefälschtes Logo. Einem Menschen wäre das auf einem Blick aufgefallen. Doch durch die Eingabe eines einzigen Prompts fiel Comet auf die Website herein, teilte sensible Kreditkarteninformationen und bestellte die Uhr - bei einem Shop, den es gar nicht gab.

Die Sicherheitsforscher wiederholten den Test mit dem Fake-Shop mehrere Male. Manchmal fragte die KI die Menschen, ob sie das Produkt wirklich bestellen soll. Andere Male forderte die KI die Menschen auf, den Checkout manuell durchzuführen.

Doch es kam auch dazu, dass die KI die Kreditkarteninformationen in nur 10 Sekunden teilte. “Wenn Sicherheit vom Zufall abhängt, ist es keine Sicherheit”, heißt es im Bericht.

➤ Mehr lesen: Erste Nutzer berichten: So schlägt sich der gehypte KI-Agent aus China

Der Umgang mit Phishing-Mails 

Eine weitere beworbene Funktion von Comet ist, sich um das Mail-Postfach zu kümmern. Die Forscher testeten, ob die KI eine Phishing-Mail von der Bank erkennt. Dafür nutzten sie eine Proton-Mailadresse, die also eindeutig nicht von der Bank stammt. In der Mail befand sich ein Link, mit dem man sich vermeintlich auf einer Investment-Homepage einloggen können soll. 

Comet hat die Mail erhalten, erstellte daraus ein To-Do und klickte auf den Link, ohne ihn zu verifizieren. Auf der Fake-Website teilte die KI erneut sensible Daten, weil sie glaubte, die Website sei echt. “Diese beiden Fälle zeigen, dass selbst die ältesten Tricks aus dem Repertoire der Betrüger in den Händen der KI-Browser gefährlicher werden”, so die Sicherheitsforscher.

Die neue KI-Betrugsära

Die Forscher wollten die KI nicht nur mit alten Tricks konfrontieren, sondern sie auch neuen Gefahren aussetzen, die in der “KI vs. KI-Ära” häufiger auftreten werden. Hier müssen sich Betrüger nicht mehr bemühen Menschen zu täuschen, sondern zielen direkt auf KIs mithilfe von schadhaften Prompts ab - eine Methode, die Prompt-Injection genannt wird. 

Dabei werden versteckte Anweisungen in Inhalte eingebettet, die die KI verarbeitet. “Die heute gängigsten Prompt-Injection-Angriffe verstecken Text auf einer Seite mit Tricks wie: „Ignoriere alle vorherigen Anweisungen und mache etwas Böswilliges für mich“, schreiben die Experten von Guardio. Wenn Comet die Seite verarbeitet, befolgt der KI-Agent die Anweisungen, wie sich in dem Test gezeigt hat. 

Sie haben ein für Menschen unsichtbares Textfeld auf einer Phishing-Seite versteckt, die die KI anwies, eine Datei herunterzuladen. Für den Test haben die Forscher keine Schadsoftware verwendet, Betrüger würden das aber schon tun.

Den Betrügern voraus sein 

Damit agentenbasierte KI-Browser wie Comet nicht auf solche Maschen hereinfallen, müssen sie den Betrügern mehrere Schritte voraus sein, heißt es im Bericht. “Das bedeutet, dass wir relevante Schutzvorrichtungen in Agentic-KI-Modelle einbauen und kontinuierlich optimieren müssen, bevor sie in Produktion gehen, und dass wir sie während ihres Betriebs auf dem Laufenden halten müssen”, so die Forscher.

Das sei gerade jetzt wichtig. Denn die führenden KI-Unternehmen wie ChatGPT und Microsoft setzen große Hoffnungen in agentenbasierte KI-Tools.