Radikalisierung: So gefährlich ist der TikTok-Algorithmus

Am vergangenen Wochenende hat ein 23-jähriger syrischer Asylberechtigter ein Messerattentat in Villach begangen, bei dem ein 14-Jähriger getötet und 5 weitere Menschen schwer verletzt wurden. Seitdem laufen die Ermittlungen, eines ist aber bereits bekannt: So soll sich der 23-Jährige in nur wenigen Wochen auf TikTok radikalisiert haben. Laut Verfassungsschutz sei der Täter Anhänger eines radikal-islamistischen Influencers gewesen. 

➤ Mehr lesen: Verfassungsschutz fürchtet "Online-Dschihad"

TikTok kann Menschen durchaus süchtig machen. Öffnet man die App, die vor allem junge Menschen ansprechen soll, kommt man davon nicht so schnell los. Das hat einen Grund: Der Algorithmus ist so konzipiert, dass Menschen möglichst lange Zeit auf der App verbringen.

Das Empfehlungssystem für TikTok-Videos, also der Algorithmus, lernt schnell die persönlichen Interessen der Nutzerinnen und Nutzer kennen und schlägt auf Basis dessen ähnliche Inhalte vor. Das Besondere: Jeder hat ein hochgradig personalisiertes TikTok-Profil, wobei kein Feed dem anderen gleicht, darüber hinaus passt sich der Algorithmus laufend den Interessen an.

Nutzerprofile werden aufgrund der Verweildauer erstellt 

Plattformen wie TikTok erreichen ihr Ziel zum Beispiel durch die “Autoplay Funktion”. Diese sorgt dafür, dass nach dem Ende eines Videos automatisch das nächste Video abgespielt wird, ohne dass Nutzer eingreifen müssen. Um das Verhalten der Nutzer besser zu verstehen, dienen “Gefällt mir”-Angaben oder Kommentare. 

Wichtig ist aber vor allem auch die Verweildauer, also wie lange ein Video angesehen wird. „Bei TikTok spielt das Unterbewusstsein eine entscheidende Rolle. Selbst ohne Likes oder Kommentare analysiert der Algorithmus die Verweildauer. Jede zusätzliche Sekunde wertet der Algorithmus als Hinweis darauf, welche Inhalte den Nutzer oder die Nutzerin besonders interessieren”, sagt Stefan Szeider, Professor an der TU Wien und Leiter des Forschungsbereichs für Algorithmen und Komplexität. 

➤ Mehr lesen: Warum der TikTok-Algorithmus gefährlich ist

Der Unterschied zu anderen Plattformen 

Auf TikTok kann man also Stunden verbringen. Auf YouTube oder Instagram aber auch, was ist also anders als bei anderen Plattformen? Szeider sagt dazu: „TikTok ist besonders suchtfördernd, weil ein Video nach dem anderen gezeigt wird und kein Ende in Sicht ist." Ein weiterer Grund sei auch, dass die Videos sehr kurz sind. Bis zu 90 Sekunden lang darf ein Video sein. „Dadurch funktioniert die Plattform schneller als andere”, betont Szeider. 

Im Gegensatz zu YouTube, wo User gezielt nach Inhalten suchen, setzt TikTok stärker auf personalisierte Vorschläge, die auf dem basieren, was man zuvor angeschaut hat.  „Hier reichen schon wenige Sekunden, die man ein Video länger ansieht. Dadurch wird die bewusste Kontrolle darüber, welche Inhalte man konsumiert, deutlich eingeschränkt. Das Teuflische daran ist, dass das unterbewusst passiert”, fasst Szeider zusammen. 

Die Rolle der Musik und der Hashtags  

Die Radikalisierung auf Tiktok ist ein vielschichtiges Problem, das nicht nur am Algorithmus liegt. Ein Trick, den die Menschen nutzen, die solche radikalen Inhalte hochladen, ist, Videos mit Musik zu versehen, die gerade sehr beliebt ist. 

Das funktioniert, weil Musik zum einen bestimmte Emotionen hervorruft. Zum anderen führt angesagte Musik dazu, dass mehr Nutzer das Video zu sehen bekommen. Denn der TikTok-Algorithmus bevorzugt Videos mit angesagten Sounds, sodass diese häufiger in den „Für dich“-Feed gelangen. 

Dadurch haben Nutzerinnen und Nutzer, die trendige Sounds verwenden, eine höhere Wahrscheinlichkeit, viral zu gehen, was bedeutet, dass das Video häufiger ausgespielt wird. Das gleiche Prinzip gilt bei beliebten Hashtags, die genutzt werden, um eine größere Zielgruppe zu erreichen. 

In der TikTok-Spirale 

Im Fall des Täters aus Villach ist bekannt, dass die Radikalisierung innerhalb weniger Wochen stattgefunden haben soll. Dennoch geschieht dieser Prozess nicht über Nacht. Er kann damit beginnen, dass sich ein Jugendlicher für Religion interessiert und entsprechende Inhalte konsumiert. Der Algorithmus schlägt daraufhin zunehmend ähnliche Inhalte vor, wodurch der Jugendliche in eine Spirale gerät, die ihn immer tiefer in ein ideologisches Rabbit Hole mit ähnlichen Inhalten ziehen kann.

Sogenannte "Influencer Preacher" nutzen TikTok, um ihre Botschaften zu verbreiten. Das sind zum Beispiel Personen, die erklären, wie man ein guter Muslim ist. Mit der Zeit können die Inhalte immer radikaler werden. „Radikalisierung ist ein schleichender Prozess“, erklärt Szeider. „Anfangs interessiert man sich vielleicht für Musik oder Lifestyle-Inhalte, die in den Videos gezeigt werden. Doch mit der Zeit spielt der Algorithmus zunehmend auch politische Inhalte aus.“ Selbst, wenn man sich ursprünglich nicht für Politik interessiert, werden diese Barrieren durch die ständige Wiederholung abgebaut, sodass man für solche Inhalte empfänglicher wird.

Mit Sprache den Algorithmus austricksen 

Auch auf Tiktok werden Inhalte moderiert. Das passiert aber laut Szeider häufig mithilfe von Künstlicher Intelligenz. „Diese ist immer einen Schritt hinter den Produzenten her. Es wird daher wahrscheinlich nie zu 100 Prozent gelingen, diese Inhalte zu verbergen”, schildert Szeider. 

Menschen, die wissen, dass sie etwas Verbotenes tun, haben deshalb Techniken entwickelt. Sie überlisten den Algorithmus: „Statt Wörter auszusprechen, die den Algorithmus dazu veranlassen würden, Inhalte zu blockieren, nutzen sie Codes. Dadurch entwickelt sich eine gewisse Geheimsprache. Zuschauer wissen mit der Zeit, was gemeint ist. Diese Codes werden zum Beispiel auch im rechtsextremen Milieu genutzt”, betont Szeider. 

➤ Mehr lesen: Die Geheimsprache von TikTok: Was ist Algospeak? 

Die Rolle der stillen Zuschauer 

Solange die Nutzer nicht aktiv posten, sondern nur Inhalte konsumieren, sei es schwierig, eine mögliche Radikalisierung vorab zu erkennen. „Denn die Konzerne dürfen diese Daten aus Datenschutzgründen nicht weitergeben. Wenn jemand aktiv postet, kann die Exekutive diese Inhalte identifizieren”, sagt Szeider. So könne man Personen zur Rechenschaft ziehen, wenn sie beispielsweise gegen das Wiederbetätigungsgesetz verstoßen. 

Wie genau die Algorithmen funktionieren, wissen nur die Betreiber der Plattformen – zudem werden sie regelmäßig angepasst. Klar ist jedoch, dass ihre Grundprinzipien zur Radikalisierung beitragen können, insbesondere bei jungen Menschen, die noch „formbar" sind wie Teenager. Laut Szeider könnte TikTok durchaus strenger filtern, welche Inhalte auf der Plattform veröffentlicht werden. Wichtig sei jedoch auch, die Zeit, die Jugendliche auf der App verbringen, bewusst zu begrenzen und alternative Angebote zu schaffen, die sie unterhalten, ohne sie der Gefahr einer Radikalisierung auszusetzen.