Forscher lassen Pokemon an Pflanzen rütteln

Bei Augmented-Reality-Anwendungen wie Pokémon Go werden virtuelle Inhalte am Display über ein Video der realen Umgebung gelegt. Eine Interaktion zwischen den beiden Komponenten war bislang nicht möglich. Forscher am MIT haben jetzt eine Technik entwickelt, mit der sich das ändern soll, wie Science Alert berichtet. Durch "Interactive Dynamic Video" können die Pokémon auf dem Smartphone-Bildschirm den realen Hintergrund manipulieren. So kann etwa ein Pikachu scheinbar an einem Ast rütteln oder ein Taubsi an einem Vorhang zupfen. "Diese Technologie lässt uns das physikalische Verhalten von Objekten erfassen, was uns erlaubt, im virtuellen Raum mit ihnen zu spielen", sagt Abe Davis vom MIT gegenüber den MIT News.

Die Forscher können vorhersagen, wie ein Objekt auf beliebige Einwirkungen reagiert. Das funktioniert, indem eine Kamera die für Menschen unsichtbaren Vibrationen, denen Objekte ausgesetzt sind, analysiert. Mit Algorithmen werden die Frequenzen analysiert, um die möglichen Bewegungsmuster zu bestimmen. So lassen sich anhand von fünf Sekunden Videomaterial realistische Simulationen von den Bewegungen eines Gegenstands erstellen. "Wenn man modellieren will, wie sich ein Objekt verhält und auf Kräfte reagiert, dann reicht es zu beobachten, wie es vibriert. Wir nehmen einfach an, dass das Verhalten konsistent ist", sagt Davis.

Die Forscher haben ihre Technik auch auf einige bereits bestehende YouTube-Videos angewandt. Das Verfahren erlaubt nicht nur, Pokémon mit ihrem Hintergrund interagieren zu lassen, sondern auch die Manipulation von Videos durch den Nutzer. So können Objekte in einem mit dem Finger oder der Maus angestoßen werden. So können etwa die Saiten einer Gitarre in einem Video gezupft werden. Die Arbeit der Forscher soll in Kürze in einer Fachzeitschrift publiziert werden.