Microsofts MRTouch für Mixed Reality wandelt jede Oberfläche in einen virtuellen Touchscreen um

Es ist nicht falsch zu sagen, dass Microsoft ein Pionier auf dem Gebiet der gemischten Realität ist, da das Unternehmen eine ganze Plattform auf Basis des Windows-Betriebssystems geschaffen hat, um neue Anwendungsfallszenarien für die MR-Technologie zu entwickeln. OEMs wie HP und Acer haben bereits MR-Headsets in mehreren Märkten herausgebracht, aber das MR-Projekt von Microsoft, die HoloLens, muss noch kommerziell verfügbar gemacht werden.

Trotz der begrenzten Verfügbarkeit leistet das Forschungsteam von Microsoft einige wirklich bemerkenswerte Arbeiten. Das jüngste Beispiel für deren Fortschritt ist MR Touch, das jede Oberfläche in einen virtuellen Touchscreen umwandelt. Die futuristische Technologie verwandelt jede ebene Fläche um Benutzer, die das HoloLens-Headset tragen, in einen Touchscreen, mit dem sie auf verschiedene Arten interagieren können, z. B. beim Surfen im Internet oder beim Betrachten von 3D-Objekten.

MRTouch bietet vollständige Multi-Touch-Unterstützung und registriert Eingaben, indem die Tiefen- und Näherungsdaten berechnet werden, indem die Umgebung und die Handgesten des Benutzers kontinuierlich verfolgt werden. Die Erfolgsrate bei der Berührungserkennung beträgt 97,5% und die räumliche Genauigkeit beträgt 5,4 mm mittlerer Entfernungsfehler. Benutzer können eine App einfach starten, indem sie einen Finger über eine beliebige Oberfläche ziehen, um einen virtuellen Touchscreen zu erstellen, und eine beliebige App über eine Benutzeroberfläche auswählen, die dem Standardlayout von Windows 10 entspricht.

Was den Umfang der Aufgaben betrifft, die man ausführen kann, so scheint es, dass Benutzer ihr HoleLens-Headset mit MRTouch als Computer für alltägliche Aufgaben verwenden können, einschließlich der Unterstützung von Gesten wie Schwenken und Zoomen. Der von MRTouch generierte virtuelle Touchscreen kann sogar realistische 3D-Inhalte erstellen und unterstützt auch In-Air-Gesten zum Erstellen von Interaktionen in einem 3D-Raum, z. B. das Erstellen einer Blockanordnung in Minecraft mit präziser Anpassung durch Berührungseingaben.

Das Video zeigt einen Testbenutzer, der nur mit dem Finger einen zweidimensionalen Block erstellt, seine Fäuste öffnet, um den Block in ein dreidimensionales Modell umzuwandeln, und seine Höhe durch Anheben der Hände nach oben oder unten anpasst (ähnlich wie bei Minority Report oder Tony Starks Jarvis AI). Darüber hinaus können Benutzer eine In-Air-Schnittstelle auch auf eine ebene Oberfläche verschieben und wie ein normaler Touchscreen damit interagieren. Es gibt jedoch keine Details, wann die MRTouch-Technologie eine breitere Version erhalten wird.