Visual Analytics of Nonverbal Behavior to Evaluate Collaborative Group Engagement (CoGE)
Die Analyse nonverbaler Verhaltensweisen in kollaborativen Gruppen ist komplex. Wir stellen einen Visual Analytics Ansatz vor, der videobasierte Gesichts-, Hand- und Körpermerkmale zu interpretierbaren nonverbalen Signalen, wie z.B. die gegenseitige Ausrichtung Kopfes, verarbeitet. Die Aggregation dieser Signale in unterschiedliche zeitliche Granularitäten und Darstellung in interaktiven Visualisierungen ermöglicht die Untersuchung von Gruppendynamiken durch die Fachexperten.
Im Projekt wurde erforscht, wodurch sich eine hohe Qualität im Gruppenengagement auszeichnet: d.h. wie sie sich über die Zeit verändert, wie sie sich im beobachtbaren Verhalten niederschlägt und wie sie sich überhaupt ermessen lässt. Ein Fokus lag dabei auf nonverbalen Verhalten und hier zeigte sich beispielsweise, dass nonverbales Verhalten und Engagement tatsächlich zusammenhängen – etwa, wenn in einer Gruppe viel gelacht wird, kann das ein Indikator dafür sein, dass die Gruppenmitglieder sehr engagiert an einer Aufgabe zusammenarbeiten.
The project investigated what characterizes high quality in group engagement: i.e., how it changes over time, how it is reflected in observable behavior, and how it can be measured at all. One focus was on nonverbal behavior, and here it became apparent, for example, that nonverbal behavior and engagement are indeed related for example, if there is a lot of laughter in a group, this can be an indicator that the group members are working together very enthusiastically on a task.
Eine Pipeline für die Datenprozessierung wurde entwickelt die es automatisiert ermöglicht, aus einfachen Videoaufnahmen 3D-Koordinaten der Gliedmassen zu extrahieren um daraus Indices wie z.B. die Blickrichtung der Einzelpersonen oder die gegenseitige Orientierung abzuleiten.
Abb. Schematische Darstellung der Pipeline zur Stapelverarbeitung für die Extraktion von Orientierungspunkten aus Videoaufnahmen (detaillierte Beschreibung des Prozesses siehe Link auf Publikation "Dokumentation der Videoprozessierung und Ableitung ...")
Basierend darauf wurden verschiedene Visualisierungen entworfen um die multidimensionalen Daten visualisieren und analysieren zu können.
Abb. Beispielhafte visuelle Darstellung des gegenseitigen Orientierungsindexes auf Basis einer hierarchischen 2D-Glyphen-Karte. Die Farbe kodiert Werte, die unterhalb (gelb) oder oberhalb (dunkelblau) eines Schwellenwertes liegen, der angibt, ob eine Person einer anderen Person oder dem Computer zugewandt ist. Weitere Visualisierungsbeispiele siehe Links zu Publiationen "Konferenz Abstract (CartoVis24 Workshop)" und "Konferenz Poster und Abstract (IEEE VIS 2025)..."
Es wurde ein CoGE Dashboard Prototyp implementiert, mit dem das non-verbale Verhalten durch Experten analysiert werden kann. Siehe https://coge-dashboard-b46d14.pages.fhnw.ch/.
Weitere Visualisierungen sind in den Publikationen zu finden.
- Konferenz Poster und Abstract (IEEE VIS 2025) zum Thema «Visual Analytics von non-verbalen Verhalten»
- Dokumentation der Videoprozessierung und Ableitung der non-verbalen Verhaltensindizes inkl. Beispieldatensatz
- CoGE-Dashboard Prototype
- Konferenz Abstract (CartoVis24 Workshop)
Projektförderung
Das Projekt fand im Rahmen eines grösseren, vom SNF (Schweizerischen Nationalfond) geförderten Forschungsvorhabens «Next generation learning: Investigating and enhancing collaborative group engagement quality to support learning groups [by social robots]» statt und lief vom 1. Mai 2020 bis zum 30. April 2025. Die Projektleitung lag bei Prof. Dr. Carmen Zahn, Prof. Dr. Oliver Rack (beide Hochschule für Angewandte Psychologie FHNW (APS)) sowie Prof. Dr. Susanne Bleisch (Hochschule für Architektur, Bau und Geomatik FHNW, HABG). Am Projekt beteiligt waren Lisa Paneth, Loris Jeitziner und Valentina Vogel (APS) sowie Matus Gasparik und Carolin Bronowicz (HABG). Weitere Informationen zum Projekt finden sich auf der SNF-Projektseite, der Projektseite der FHNW sowie der Projektseite im Rahmen des NFP 77.