Skip to main content

Object Anchoring in Dissimilar Mixed Realities

Diese Bachelor-Arbeit beschäftigte sich mit der Entwicklung eines Konzepts und Implementierung als Proof-Of-Concept zur automatisierten Wiederplatzierung von Hologrammen in HoloLens an zwei unterschiedlichen Lokationen. Die Wiederplatzierung wird dabei automatisch und anhand von ähnlichen Gegebenheiten beider Lokationen durch die HoloLens vorgenommen werden.

HologrammPlatziertBeispiel_Small.jpg

Ausgangslage

Out-of-the-box hat die HoloLens keine Objekterkennung. Sie erkennt zwar den genau gleichen Raum, aber sie kann nicht den Raum als "ähnlich" beurteilen. Deshalb muss eine passende Strategie/ Prozedur angewandt werden, um die Ähnlichkeit des Raumes festzustellen, um die Hologramme "gleich" zu platzieren.

Zielsetzung

Anhand ähnlichen Gegebenheiten soll eine automatische Wiederplatzierung von Hologrammen stattfinden. Die "ähnlichen Gegebenheiten" werden durch automatische Objekterkennung, 2D - 3D Mapping, Gaze Ray und Raum Mesh festgestellt und dementsprechend werden die Hologramme passend platziert. Der User soll den Vorgang als schnell und richtig empfinden

Ergebnisse

Das erarbeitete Konzept wurde als Extension-Service im Mixed-Reality-Toolkit umgesetzt und beschreibt eine Pipeline und deren Teilschritte. Der erste Teil der Pipeline erfasst an Lokation A die initiale Platzierung durch den Benutzer und verwendet dabei den Objekterkennungsservice Azure ComputerVision. Die Objekterkennung wird auf einem Bild (2D) gemacht. Die Informationen der Objekterkennung werden anschliessend genutzt um zu prüfen, ob die Platzierung auf einem Tisch gemacht wurde (3D).

1_2.jpg

Wurde das Hologramm auf einem Tisch platziert, wird dies als Ankerkonfiguration lokal in der HoloLens gespeichert.

1_3.jpg

Hat der Benutzer die Lokation gewechselt, kann der zweite Teil für die automatische Wiederplatzierung per Sprachbefehl gestartet werden. Wieder kommt die 2D Objekterkennung zum Einsatz um einen Tisch in der Benutzersicht zu finden, auf welchem das Hologramm automatisch platziert werden soll.

2_2.jpg

Mit der Information aus der Objekterkennung und einem Raycast, wird der Punkt für die Wiederplatzierung ermittelt.

2_3.jpg

Das erarbeitete Konzept konnte erfolgreich in einem Proof-Of-Concept umgesetzt werden. Bei verschiedenen Test, haben sich dabei die schwächen bzw. Limitierungen der Lösung offenbart. Eine Limitierung ist die Auflösung der Kamera, diese fällt mit 1280 x 720 Pixel sehr niedrig aus. Wir verwenden die Kamera, um einen Screenshot bzw. Bild der Benutzersicht zu machen, auf welchem wir die Objekterkennung ausführen. Damit Azure Vision die Objekte im Bild zuverlässig erkennen kann, muss das Objekt möglichst vollständig auf dem Bild sein, bzw. markante Teile des Objektes müssen auf dem Bild erkennbar sein. Bei einem Tisch wären das Tischbeine und ein Grossteil der Tischplatte, damit Azure Vision den Tisch zuverlässig erkennen kann. Die geringe Auflösung, zwingt nun den Benutzer dazu, relativ weit vom Tisch entfernt zu stehen, damit der Tisch zu grossen Teilen im Bild ersichtlich ist.

Projektinformationen

Diplomanden: Pascal Kamber, Pascal Peter
Auftraggeber: ti&m AG

Diese Seite teilen: