Gaming, Autos, Smart Home & mehr: Das können Time-of-Flight-Kameras

Von außen sieht das Kamera-Modul im Lenovo Phab 2 Pro oder im Asus Zenfone AR gar nicht so spektakulär aus. Doch der von Infineon und PMD entwickelte Real3-Sensor ist alles andere als gewöhnlich: Anstelle eines RGB-2D-Fotos fängt er ein echtes 3D-Video ein – mit Tiefeninformationen zu jedem einzelnen Pixel. Wir haben an anderer Stelle bereits im Detail erklärt, wie die ToF-Kamera im Phab 2 Pro funktioniert.

Google Tango konzentriert sich dabei auf Augmented-Reality-Anwendungen, bei denen die Smartphones auf dem Display das Live-Bild der Kamera einblenden und mit virtuellen Objekten überlagern. Dadurch, dass das Tango-Smartphone kontinuierlich den Raum scannt, kennt es seine eigene Position sehr genau und kann die AR-Objekte extrem präzise im Raum verankern. 

So kann man dann beispielsweise mit virtuellen Haustieren spielen oder Möbel in Originalgröße ausprobieren. Ein weiterer Punkt betrifft die Indoor-Navigation: Wo kein GPS-Empfang verfügbar ist, erkennt das Smartphone anhand der Form des Raumes seine Position und leitet den Nutzer dann durch Flughäfen, Einkaufszentren & Co.

Jenseits von Tango

Die ToF-Sensoren sind natürlich nicht nur auf Tango-Smartphones beschränkt. Eine auf der Vorderseite des Smartphones könnte beispielsweise ein sichereres Entsperren per Gesichtserkennung ermöglichen. Mit einem simplen Foto lässt sich die 3D-Kamera nämlich nicht austricksen.

Auch in Zusammenarbeit mit der gewöhnlichen RGB-Kamera lassen sich interessante Anwendungen konstruieren, Stichwort: Computational Photography. Wenn das Smartphone eine 3D-Karte des Raumes hat, dann ist es ein Leichtes, Effekte nur auf bestimmte Bildteile anzuwenden und beispielsweise die Schärfentiefe in einem Foto nachträglich festzulegen. 

Virtual Reality

Ein weiterer spannender Anwendungsbereich ist Virtual Reality: Ein Headset mit integrierter Time-of-Flight-Kamera ermöglicht es dem Träger, sich frei im Raum zu bewegen. In Zusammenarbeit mit weiteren Sensoren für Beschleunigung & Co. ist es nämlich möglich, kontinuierlich die Kopfposition des Nutzers zu bestimmen und das in der Brille dargestellte Bild exakt daran anzupassen. Externe Kameras oder Lighthouses, wie etwa bei der HTC Vive, sind dann nicht mehr erforderlich. Und es ließe sich effektiv verhindern, dass der Nutzer in seiner virtuellen Realität gegen eine reale Wand läuft. Man spricht dabei vom sogenannten Inside-Out-Tracking.

Die Abbildung des eigenen Körpers in die virtuelle Realität ist ein weiterer Aspekt. Die Hände lassen sich etwa in Echtzeit scannen und dann in die gerade laufende VR-Anwendung integrieren. Weiterhin ist auch eine Interaktion mit Gegenständen aus der realen Welt denkbar. Wenn wir also beispielsweise in ein paar Jahren an Virtual-Reality-Meetings teilnehmen, können wir aus dem realen Glas auf dem realen Tisch vor uns einen realen Schluck Wasser trinken, da dieses in Echtzeit gescannt und in unsere VR-Umgebung integriert wird.

Weitere Anwendungen 

Bei Smartphones und AR respektive VR ist noch lange nicht Schluss. Die Technologie soll etwa auch intelligente Überwachungskameras mit deutlich umfassenderen Analysemöglichkeiten erlauben. So ließe sich dann abends beispielsweise einfach abfragen, wann die Kinder von der Schule nach Hause gekommen sind – und das System präsentiert aus der Videoaufzeichnung die entsprechende Stelle. Das geht, weil die ToF-Kamera dank der Tiefeninformationen besser erkennen kann, welches Objekt bzw. Person sich gerade bewegt.

Eine Gestensteuerung per ToF-Kamera ist bereits in den ersten Fahrzeugen von BMW realisiert. Denkbar ist auch eine kontinuierliche Überwachung des Fahrers bezüglich seiner Fahrtüchtigkeit. Bei drohendem Sekundenschlaf ließen sich dann rechtzeitig Gegenmaßnahmen einleiten.

Weiter geht es dann mit selbstfahrenden Autos. Time-of-Flight-Kameras sind hier einerseits wertvoll, um die Umgebung zu überwachen und beispielsweise Hindernisse oder Gefahren zu erkennen. Nachdem autonome Fahrzeuge aber auch deutlich flexiblere Innenraumkonzepte ermöglichen werden, beispielsweise mit drehbaren Sitzen, ist im Falle eines Unfalls eine präzise Positionsbestimmung der Passagiere wichtig, um die Rückhalte- und Sicherheitssysteme im Auto optimal auszulösen.

Interview mit Infineon

Wir haben auf dem Mobile World Congress mit Martin Gotschlich gesprochen, Director of 3D Imaging bei Infineon – und die einige oben angerissene Themen im Video festgehalten. Viel Spaß mit dem folgenden Videointerview.

Habt Ihr schon AR-Anwendungen mit Tango ausprobiert?