Die Analyse nonverbaler Verhaltensweisen in kollaborativen Gruppen ist komplex. Wir stellen einen Visual Analytics Ansatz vor, der videobasierte Gesichts-, Hand- und Körpermerkmale zu interpretierbaren nonverbalen Signalen, wie z.B. die gegenseitige Ausrichtung Kopfes, verarbeitet. Die Aggregation dieser Signale in unterschiedliche zeitliche Granularitäten und Darstellung in interaktiven Visualisierungen ermöglicht die Untersuchung von Gruppendynamiken durch die Fachexperten.
Ausgangslage
Im Projekt wurde erforscht, wodurch sich eine hohe Qualität im Gruppenengagement auszeichnet: d.h. wie sie sich über die Zeit verändert, wie sie sich im beobachtbaren Verhalten niederschlägt und wie sie sich überhaupt ermessen lässt. Ein Fokus lag dabei auf nonverbalen Verhalten und hier zeigte sich beispielsweise, dass nonverbales Verhalten und Engagement tatsächlich zusammenhängen – etwa, wenn in einer Gruppe viel gelacht wird, kann das ein Indikator dafür sein, dass die Gruppenmitglieder sehr engagiert an einer Aufgabe zusammenarbeiten.
The project investigated what characterizes high quality in group engagement: i.e., how it changes over time, how it is reflected in observable behavior, and how it can be measured at all. One focus was on nonverbal behavior, and here it became apparent, for example, that nonverbal behavior and engagement are indeed related for example, if there is a lot of laughter in a group, this can be an indicator that the group members are working together very enthusiastically on a task.
Umsetzung
Eine Pipeline für die Datenprozessierung wurde entwickelt die es automatisiert ermöglicht, aus einfachen Videoaufnahmen 3D-Koordinaten der Gliedmassen zu extrahieren um daraus Indices wie z.B. die Blickrichtung der Einzelpersonen oder die gegenseitige Orientierung abzuleiten.
Basierend darauf wurden verschiedene Visualisierungen entworfen um die multidimensionalen Daten visualisieren und analysieren zu können.
Es wurde ein CoGE Dashboard Prototyp implementiert, mit dem das non-verbale Verhalten durch Experten analysiert werden kann. Siehe https://coge-dashboard-b46d14.pages.fhnw.ch/.Weitere Visualisierungen sind in den Publikationen zu finden.
Publikationen
Projektförderung
Das Projekt fand im Rahmen eines grösseren, vom SNF (Schweizerischen Nationalfond) geförderten Forschungsvorhabens «Next generation learning: Investigating and enhancing collaborative group engagement quality to support learning groups [by social robots]» statt und lief vom 1. Mai 2020 bis zum 30. April 2025. Die Projektleitung lag bei Prof. Dr. Carmen Zahn, Prof. Dr. Oliver Rack (beide Hochschule für Angewandte Psychologie FHNW (APS)) sowie Prof. Dr. Susanne Bleisch (Hochschule für Architektur, Bau und Geomatik FHNW, HABG). Am Projekt beteiligt waren Lisa Paneth, Loris Jeitziner und Valentina Vogel (APS) sowie Matus Gasparik und Carolin Bronowicz (HABG). Weitere Informationen zum Projekt finden sich auf der SNF-Projektseite, der Projektseite der FHNW sowie der Projektseite im Rahmen des NFP 77.
Kontakt
Prof. Dr. Susanne Bleisch
- Telefon
- +41 61 228 55 25
- susanne.bleisch@fhnw.ch
