Informatiker lassen aus Livestream Objekte und Personen verschwinden

Informatiker der Uni Wien können aus Livestreams Objekte oder Personen selbst vor stark strukturierten Hintergründen verschwinden lassen. Ein zuvor erzeugtes 3D-Modell der Umgebung ersetzt in Echtzeit das entfernte Objekt bzw. die Person durch den entsprechenden Hintergrund. Großer technischer Aufwand ist dafür nicht notwendig, wie die Forscher demonstrierten.

Unter dem Schlagwort "Diminished Reality" (etwa: "verminderte Realität") wird schon seit Jahren versucht, bestimmte Objekte bzw. Personen auf Videos zu erkennen und durch andere Bildelemente zu ersetzen, sodass für den Zuseher ein plausibler Gesamteindruck entsteht. Mittels Deep Learning könne man heute bereits alle Objekte oder Personen in einem Video in Echtzeit erkennen, sagte Helmut Hlavacs, Leiter der Forschungsgruppe Entertainment Computing an der Fakultät für Informatik der Universität Wien. Einzelne Personen, Gesichter, Autos, Motorräder, jede Art von Tätigkeit lasse sich so in Echtzeit identifizieren und einfach aus dem Video entfernen.

Tablet mit 3D-Scanner

Das Problem ist nicht so sehr das Entfernen, sondern die Frage, wie man das dabei entstehende "Loch" füllt. Bei mehr oder weniger einfärbigen und ruhigen Hintergründen funktioniere das ganz gut, da könne man aus den das Objekt umgebenden Bildelementen auf den notwendigen Hintergrund rückschließen. "Wenn der Hintergrund aber sehr auffällig ist und viele Details hat, beispielsweise ein Bücherregal, funktioniert das gar nicht", meinte der Informatiker.

Hlavacs Student Erwin Andre hat daher einen anderen Ansatz verfolgt. Er rüstete dazu ein handelsübliches Tablet mit einem 3D-Sensor auf. Mit diesem wird zunächst der Hintergrund - beispielsweise ein kompletter Raum, in dem später gefilmt werden soll - gescannt. Dieses 3D-Modell wird dann exakt dort eingefügt, wo ein Objekt oder eine Person aus dem Bild entfernt wurde. Das ganze funktioniert in Echtzeit, also auch bei einer Liveübertragung, und bei wechselnder Kameraposition.

Vereinfachte Realität

Anwendungen kann sich Hlavacs etwa in der Film- und Werbeindustrie vorstellen, aber auch für Menschen mit Asperger Syndrom, die bei zu vielen Details optisch schnell überfordert sein können. Und natürlich könne man so eine Technologie auch missbrauchen, "deshalb wollen wir auch verstehen, wie solche Ansätze funktionieren, und uns dann überlegen, wie man solche manipulierten Videos automatisch erkennen kann".

Derzeit könne man noch davon ausgehen, dass man bei Liveübertragungen durch solche Manipulationen noch kleine Bildfehler sieht. "Es funktioniert schon sehr gut, aber hie und da gibt es ein kleines Wackeln, oder es wird unscharf, oder das eingefügte Bild passt nicht ganz", so Hlavacs. Wenn man gespeichertes Material im Nachhinein manipuliere, sei ein Nachweis schwieriger, "dann muss man sich mit forensischen Methoden das Material anschauen".