Scalable GenXR: Generative AI for extended reality in retail, Hochschule für Informatik FHNW

Das rasche Wachstum immersiver Technologien in Verbindung mit dem zunehmend verbreiteten digitalen Handel, also dem Online-Shopping, eröffnet neue Möglichkeiten, die Erstellung hochwertiger 3D-Modelle von Einzelhandelsprodukten effizienter zu gestalten. Diese Modelle sollen direkt in Extended-Reality-Anwendungen – Virtual, Augmented und Mixed Reality – eingesetzt werden können, insbesondere in Augmented-Reality-Anwendungen auf handelsüblichen Smartphones.

Trotz der jüngsten Entwicklungen bleibt die Erstellung hochwertiger 3D-Modelle jedoch kosten- und zeitintensiv und stark von manueller Arbeit abhängig. Diese Einschränkungen begrenzen die Skalierbarkeit und Zugänglichkeit realistischer «Try before you buy»-Erlebnisse. GenXR entwickelt die generative-KI-gestützte Erstellung von 3D-Inhalten mithilfe aktueller Computer-Vision- und Deep-Learning-Frameworks weiter. Ziel ist die automatisierte, skalierbare und nachhaltige Generierung von 3D- und AR-Inhalten aus einem einzelnen oder einer kleinen Anzahl von 2D-Produktbildern – idealerweise ohne menschliches Eingreifen.

Aufbauend auf jüngsten Fortschritten in den Bereichen generative KI, Neural Rendering, Computer Vision, Deep Learning und Natural Language Processing untersucht das Projekt Image-to-3D- und Text-to-3D-Ansätze. Damit adressiert es einen der zentralen Engpässe heutiger Arbeitsabläufe zur Erstellung von 3D-Modellen: den hohen manuellen Aufwand, der erforderlich ist, um besonders realistische Visualisierungen zu erzielen.

Um die Projektziele zu erreichen, evaluiert das GenXR-Team systematisch aktuelle State-of-the-Art-Ansätze mittels Benchmarking. Es bewertet die wahrgenommene Qualität hinsichtlich Realismus und Detailgrad und entwickelt Nachbearbeitungstechniken mit dem Ziel einer vollständigen Automatisierung weiter.

Neben der Skalierbarkeit befasst sich GenXR auch mit Nachhaltigkeit: Mit der steigenden Nachfrage nach KI-generierten 3D-Inhalten nimmt auch die Umweltbelastung durch die erforderlichen Rechenprozesse zu. GenXR untersucht deshalb Methoden für eine energieeffiziente Generierung von 3D-Modellen und optimiert sowohl das Training als auch die Inferenz, um den CO₂-Fussabdruck KI-basierter Content-Pipelines zu reduzieren.

GenXR baut auf drei bereits geförderten Projekten auf: einer Machbarkeitsstudie im Rahmen eines Innosuisse-Innovationsschecks, einer durch das HTZ geförderten Machbarkeitsstudie und einem durch den Forschungsfonds Aargau finanzierten Projekt.