Diese Bachelor-Arbeit beschäftigte sich mit der Entwicklung eines Konzepts und Implementierung als Proof-Of-Concept zur automatisierten Wiederplatzierung von Hologrammen in HoloLens an zwei unterschiedlichen Lokationen. Die Wiederplatzierung wird dabei automatisch und anhand von ähnlichen Gegebenheiten beider Lokationen durch die HoloLens vorgenommen werden.
Ausgangslage
Out-of-the-box hat die HoloLens keine Objekterkennung. Sie erkennt zwar den genau gleichen Raum, aber sie kann nicht den Raum als "ähnlich" beurteilen. Deshalb muss eine passende Strategie/ Prozedur angewandt werden, um die Ähnlichkeit des Raumes festzustellen, um die Hologramme "gleich" zu platzieren.
Zielsetzung
Anhand ähnlichen Gegebenheiten soll eine automatische Wiederplatzierung von Hologrammen stattfinden. Die "ähnlichen Gegebenheiten" werden durch automatische Objekterkennung, 2D - 3D Mapping, Gaze Ray und Raum Mesh festgestellt und dementsprechend werden die Hologramme passend platziert. Der User soll den Vorgang als schnell und richtig empfinden
Ergebnisse
Das erarbeitete Konzept wurde als Extension-Service im Mixed-Reality-Toolkit umgesetzt und beschreibt eine Pipeline und deren Teilschritte. Der erste Teil der Pipeline erfasst an Lokation A die initiale Platzierung durch den Benutzer und verwendet dabei den Objekterkennungsservice Azure ComputerVision. Die Objekterkennung wird auf einem Bild (2D) gemacht. Die Informationen der Objekterkennung werden anschliessend genutzt um zu prüfen, ob die Platzierung auf einem Tisch gemacht wurde (3D).
Wurde das Hologramm auf einem Tisch platziert, wird dies als Ankerkonfiguration lokal in der HoloLens gespeichert.
Hat der Benutzer die Lokation gewechselt, kann der zweite Teil für die automatische Wiederplatzierung per Sprachbefehl gestartet werden. Wieder kommt die 2D Objekterkennung zum Einsatz um einen Tisch in der Benutzersicht zu finden, auf welchem das Hologramm automatisch platziert werden soll.
Mit der Information aus der Objekterkennung und einem Raycast, wird der Punkt für die Wiederplatzierung ermittelt.
Das erarbeitete Konzept konnte erfolgreich in einem Proof-Of-Concept umgesetzt werden. Bei verschiedenen Test, haben sich dabei die schwächen bzw. Limitierungen der Lösung offenbart. Eine Limitierung ist die Auflösung der Kamera, diese fällt mit 1280 x 720 Pixel sehr niedrig aus. Wir verwenden die Kamera, um einen Screenshot bzw. Bild der Benutzersicht zu machen, auf welchem wir die Objekterkennung ausführen. Damit Azure Vision die Objekte im Bild zuverlässig erkennen kann, muss das Objekt möglichst vollständig auf dem Bild sein, bzw. markante Teile des Objektes müssen auf dem Bild erkennbar sein. Bei einem Tisch wären das Tischbeine und ein Grossteil der Tischplatte, damit Azure Vision den Tisch zuverlässig erkennen kann. Die geringe Auflösung, zwingt nun den Benutzer dazu, relativ weit vom Tisch entfernt zu stehen, damit der Tisch zu grossen Teilen im Bild ersichtlich ist.
Projektinformationen
Diplomanden: Pascal Kamber, Pascal Peter
Auftraggeber: ti&m AG