«cloudIO» - Cloud-based Image Orientation for Infrastructure Management

Im cloudIO-Projekt werden neue bildbasierte Georeferenzierungsmethoden und -technologien für den Innen- und Aussenraum geschaffen, die für die Lokalisierung auf der 3D-Bilddatenbasis der infra3D-Plattform der Industriepartnerin iNovitas AG aufbauen. Damit erhalten Kunden zukünftig die Möglichkeit, die Bilddatenbasis punktuell und laufend mit eigenen Daten zu aktualisieren.

Der langfristige Werterhalt von technischen Infrastrukturen ist eine der grossen Herausforderungen aller entwickelten Volkswirtschaften. Bereits heute setzen zahlreiche Kommunen, Städte, Kantone und Infrastrukturbetreiber im In- und Ausland für die digitale Bewirtschaftung und Analyse ihrer Infrastrukturanlagen und -objekte auf bildbasierte Infrastrukturplattformen, wie dem infra3D-Webservice der iNovitas AG. Mit der Etablierung dieser Infrastruktur-Services wächst das Bedürfnis der Kunden nach einer einfachen und kostengünstigen Aktualisierung der Bilddatenbasis und nach neuen Einsatzmöglichkeiten der bildbasierten «Digitalen Realität».

Im Rahmen des Forschungsprojekts «cloudIO» sollen neue bildbasierte Georeferenzierungsmethoden und -technologien für den Innen- und Aussenraum entwickelt werden, die für die Lokalisierung auf der 3D-Bilddatenbasis der infra3D-Webservices aufbauen. Damit wird eine robuste und genaue Lokalisierung von Bildsensoren in sechs Freiheitsgraden (6DOF) unabhängig von einer Positionierungsinfrastruktur (wie etwa GNSS) und ohne Passpunkte oder Marker ermöglicht.
Mit dieser Georeferenzierungsmethode erhalten Kunden zukünftig die Möglichkeit, ihre 3D-Bilddienste punktuell oder laufend mit eigenen Daten zu aktualisieren oder zu erweitern.

Dabei stehen folgende wissenschaftlichen Fragestellungen im Zentrum:

• Die Realisierung einer skalierbaren, robusten, vollautomatischen Bildorientierung auf der Basis bereits bestehender 3D-Bilddaten im Innen- und Aussenraum, welche ohne Marker oder Passpunkte auskommt und möglichst unabhängig von hochpräziser Positionierungssensorik, wie GNSS, ist.
• Konzeption einer verteilten Client-Cloud-Architektur für die performante und robuste Orientierung von Einzelbildern – gegebenenfalls unter Nutzung des zukünftigen 5G-Mobilfunkstandards mit den entsprechenden Bandbreiten.
• Die Erweiterung von AR Frameworks mit einer automatischen Georeferenzierungsfunktionalität, um Bilder absolut zu orientieren. Dabei soll auf Passpunkte, welche signalisiert und eingemessen werden müssen, weitgehend verzichtet werden.
• Untersuchungen zur Realisierung einer hochperformanten Grob-Lokalisierung durch Deep Learning Ansätze als Vorstufe für die Präzisions-Orientierung mit ‘traditionellen’ featurebasierten Orientierungsansätzen.

Die wichtigsten Forschungsergebnisse und Innovationen aus dem cloudIO-Projekt umfassen:

• Die vollautomatische absolute bildbasierte Georeferenzierung mittels einer Visual-Localization-Pipeline basierend auf neusten Deep-Learning-Ansätzen, womit Bilder und Bilddatensätze, welche zu unterschiedlichen Zeitpunkten erfasst wurden, registriert und georeferenziert werden können (Meyer et al., 2020).Eine AR-App (Abb. 1) mit Bilderfassungs- und Uploadfunktionalität einerseits, sowie mit absoluter Georeferenzierungsfunktionalität andererseits für künftig punktuelle Nachführungen von infra3D-Services, welche auf einfache Art und Weise von fachfremden Personen mit mobilen Endgeräten durchgeführt werden können (Hasler et al., 2020).
• Entwicklung eines prototypischen kostengünstigen stereobildbasierten Erfassungssystems (Abb. 2) für bestehende Fahrzeugflotten, wie Züge im Regelbetrieb und oder Unterhaltsfahrzeuge, um künftig weitgehend automatisierte flächenhafte Aktualisierungen der infra3D-Services vorzunehmen.
• Erweiterung des Messrucksacks «BIMAGE Backpack» mit zusätzlicher Navigationssensorik sowie neuen Georeferenzierungsansätzen für den Einsatz im Aussenraum, um zuvor unzugängliche Orte bzw. Objekte wie z.B. enge Gassen in der Innenstadt oder Bahninfrastrukturanlagen abseits der Gleise zu erfassen (Blaser et al., 2020).
• Implementierung eines Kalibrierungsworkflows für die hochpräzise und effiziente Bestimmung der Fehlausrichtung zwischen Multiprofillaserscannern und Kamera, um eine präzise Co-Registrierung von LiDAR- und Bilddaten des Messrucksacks zu erreichen.

Abb. 1. AR-App mit absoluter Georeferenzierungsfunktionalität (links) sowie automatischer Bildaufnahme und -orientierung (rechts).

Abb. 2. Prototypisches stereobildbasiertes Erfassungssystem für die automatisierte, flächenhafte infra3D-Nachführung mit Fahrzeugflotten (links), Montage in einer ÖBB-Lokomotive im Rahmen des Pilotprojekts (rechts).

• Blaser, Nebiker, Wisler, 2019. Portable Image-Based High Performance Mobile Map-ping System in Underground Environments – System Configuration and Performance Evaluation. ISPRS Ann. Photogramm. Remote Sens. Spatial Inf. Sci., Vol. IV-2/W5, 255-262, doi.org/10.5194/isprs-annals-IV-2-W5-255-2019
• Hasler, Loesch, Blaser, Nebiker, 2019. Configuration and Simulation Tool for 360-Degree Stereo Camera Rig. ISPRS Int. Arch. Photogramm. Remote Sens. Spatial Inf. Sci., Vol. XLII-2/W13, 793-798, doi.org/10.5194/isprs-archives-XLII-2-W13-793-2019
• Hasler, Blaser, Nebiker, 2019. Implementation and First Evaluation of an Indoor Map-ping Application Using Smartphones and AR Frameworks. ISPRS Int. Arch. Photogramm. Remote Sens. Spatial Inf. Sci., Vol. XLII-2/W17, 135-141. doi.org/10.5194/isprs-archives-XLII-2-W17-135-2019
• Meyer, Blaser, Nebiker, Fricker, Weber, 2020. Leistungsfähiges portables Mobile Mapping im Aussenraum – Genauigkeitspotential und Grenzen unterschiedlicher Georeferenzierungsansätze in der Stadt und im Wald. 40. Wissenschaftlich-Technische Jahrestagung der DGPF in Stuttgart – Publikation der DGPF, Band 29.
• Hasler, Blaser, Nebiker, 2020. Performance Evaluation of a Mobile Mapping Application using Smartphones and AR Frameworks. ISPRS Ann. Photogramm. Remote Sens. Spatial Inf. Sci., Vol. V-2-2020, 741-747. doi.org/10.5194/isprs-annals-V-2-2020-741-2020
• Blaser, Meyer, Nebiker, Fricker, Weber, 2020. Centimetre-Accuracy in Forests and Urban Canyons – Combining a High-Performance Image-Based Mobile Mapping Backpack with New Georeferencing Methods. ISPRS Ann. Photogramm. Remote Sens. Spatial Inf. Sci., Vol. V-1-2020, 333-341. doi.org/10.5194/isprs-annals-V-1-2020-333-2020
  (ISPRS Best Young Author Award 2020 of the International Society of Photogrammetry and Remote Sensing)
• Meyer, Rettenmund, Nebiker, 2020. Long-Term Localization in Large Scale Urban Environments Exploiting Street Level Imagery. ISPRS Ann. Photogramm. Remote Sens. Spatial Inf. Sci., Vol. V-2-2020, 57-63. doi.org/10.5194/isprs-annals-V-2-2020-57-2020
• Meyer, Blaser, Nebiker, 2020. Zentimetergenauigkeit mit dem BIMAGE Backpack im Wald und im Stadtzentrum. Geomatik Schweiz, Vol. 9, 253-256.

Projektlaufzeit:	1.11.2018-31.7.2020 (21 Monate)
Projektleiter:	Prof. Dr. Stephan Nebiker
Projektmitarbeiter:	Stefan Blaser, Stefan Cavegn, Markus Fehr, Oliver Hasler, Jonas Meyer, Daniel Rettenmund
Projektförderung:	Innosuisse Projekt Nr. 32411.1 IP-ICT

• Hochschulpartner: Institut Geomatik, Fachhochschule Nordwestschweiz FHNW, Hofackerstrasse 30, 4132 Muttenz, www.fhnw.ch/geomatik
• Industriepartner: iNovitas AG, Oberrohrdorferstrasse 1c, CH-5405 Baden-Dättwil, www.inovitas.ch