Smartphone-Kameras könnten bald um die Ecke schauen

Ein hosentaschengroßes Gerät, das um die Ecke schauen kann – das klingt erstmal nach Superhelden-Comic. Doch ein Team des MIT Media Lab hat das nun zur Wirklichkeit gemacht, jedenfalls unter Laborbedingungen.

Die Forscher entwickelten eine neue Methode, mit der handelsübliche LiDAR-Sensoren sogenannte non-line-of-sight-Bildgebung (NLOS) ermöglichen. Solche Sensoren sorgen etwa im iPhone für besseren Autofokus und helfen Staubsaugerrobotern bei der Orientierung.

➤ Mehr lesen: Laser durch Schlüsselloch kann Räume ausspionieren.

Details zum sogenannten motion-induced aperture sampling haben die Forscher auf einer Projektseite veröffentlicht. Im Fachjournal Nature ist die zugehörige Studie erschienen.

Neuer Algorithmus

Ein LiDAR-Sensor kann binnen Pikosekunden – das ist eine Billionstel Sekunde – Licht wahrnehmen, das von sichtbaren Oberflächen reflektiert wird. Ein solcher Sensor ist jedoch auch im Stande, diese Reflexionen von denen zu unterscheiden, die von einem verdeckten Objekt zurückgeworfen werden. 

Diese indirekten Reflexionen sind jedoch äußerst schwach. Um damit zu rekonstruieren, was sich z. B. hinter einer Ecke befindet, entwickelte das Forschungsteam einen neuen Algorithmus, der Messungen zu mehreren Zeitpunkten kombiniert.

Kein Foto im eigentlichen Sinne

Im Labor stellten die Forscher eine undurchsichtige Trennwand auf, hinter der sich ein Mensch „versteckte“. Der Sensor wurde gegen eine weiße Wand gerichtet, die im 90-Grad-Winkel zur Trennwand stand. Durch das davon reflektierte Licht konnte der Sensor, unterstützt von der neuen Software, die Bewegungen der Person tracken.

Man darf sich motion-induced aperture sampling dabei jedoch nicht wie ein „Foto um die Ecke“ vorstellen. Die Technologie kann lediglich grobe geometrische Formen rekonstruieren.

Günstige, handelsübliche Hardware

„Für mich ist das Spannendste an dieser Arbeit, dass wir eine Fähigkeit genommen haben, die zuvor spezielles 50.000-US-Dollar-Equipment vorausgesetzt hat, und sie in die Hände von Leuten in der Robotik, AR/VR und darüber hinaus gegeben haben“, betont Forschungsleiter Siddharth Somasundaram vom MIT in einem LinkedIn-Post. „Dadurch, dass LiDARs verbreiteter werden, könnte das glaube ich zu völlig neuen Formen von maschinellem Sehen und Raumerfassung führen“, so Somasundaram weiter.

Die Forscher sehen eine ganze Reihe möglicher Einsatzzwecke für ihre Technologie: NLOS in Fahrzeugen könnte Verkehrsteilnehmer, die an einer unübersichtlichen Kreuzung verdeckt sind, erkennen. Autonome Roboter könnten sich in Umgebungen, die nicht komplett einzusehen sind, besser zurechtfinden. Bei AR- und VR-Systemen könnte NLOS für verbessertes Tracking von Körperbewegungen eingesetzt werden.

Selber ausprobieren

Für alle, die motion-induced aperture sampling selbst ausprobieren wollen, hat das MIT-Team eine Anleitung veröffentlicht. Diese ist allerdings für einen einzelnen Sensor, der um die 50 Dollar kostet, gedacht, eine Integration fürs iPhone oder andere handelsübliche Geräte gibt es noch nicht.

Überhaupt sei ihre Technologie noch nicht über den Status eines Prototypen hinaus, so die Forscher. Es sei derzeit noch nicht möglich, über weitere Entfernungen um die Ecke zu sehen. Auch bestimmte Umgebungen und unerwartete Bewegungen bereiten dem System noch Probleme. 

➤ Mehr lesen: Höhlenmalerei: iPhone kann teures Wissenschafts-Equipment ersetzen.

Weitere Forschung nötig

Um diesen Problemen zu begegnen, schlagen die Forscher Verbesserungen auf Seiten von Hardware und Software vor. Im Moment seien LiDAR-Sensoren, die in handelsüblichen Geräten verbaut werden, für direkte Reflexionen optimiert. Zukünftige Modelle sollten sensibler und zeitlich besser aufgelöst werden.

➤ Mehr lesen: Günstige Laser könnten selbstfahrende Autos revolutionieren.

Die Algorithmen müssten so weiterentwickelt werden, dass sie auch bei stärkerem Signalrauschen funktionieren. Zukünftig könnten LiDAR-Messungen mit klassischen Kamera-Aufnahmen oder Daten aus Trägheitssensoren kombiniert werden, um NLOS zu verbessern.