Evaluationskonzept

Jedes Spiel wurden auf Basis eines Evaluationskonzeptes systematisch analysiert. Dieses Konzept beinhaltet didaktische Kriterien, die von Experte:innen untersucht wurden, sowie eine Einschätzung der Spiele durch unsere Studierende.

Didaktische Einschätzung der Spiele   

Die didaktische Evaluation der Spiele erfolgte auf Basis des nachfolgend skizzierten Lernziel-orientierten Modells. Dahinter stehen die Fragen, welches Wissen, welche Fähigkeiten und welche Einstellungen Studierende auf Hochschulniveau benötigen, um ein tiefgründiges Verständnis von dem Phänomen zu erwerben. Bei dem folgenden dreidimensionalen Konzept gehen wir davon aus, dass die Aneignung von „News Literacy“ und die damit verbundene Entwicklung von Fake-News-Resilienz die Berücksichtigung der drei folgenden Lernzieldimensionen erfordert.   

  • Fähigkeiten zum Umgang mit Fake News, d.h. die Einübung und Anwendung konkreter Methoden und Techniken, um Fake News von echten Nachrichten zu unterscheiden.
  • Wissen zu Entstehung, Verbreitung und Auswirkungen von Fake News, i.e. das tiefergehende und umfassendere Verständnis von Systemen in denen Falschnachrichten produziert und verteilt werden.
  • Bereitschaft zur Selbst-Reflexion der eigenen Mediennutzung, d.h. die kritisch-reflektive Auseinandersetzung mit der eigenen, alltäglichen Mediennutzung und der damit verbundenen Bewusstmachung von persönlichen Schwachstellen und Anfälligkeiten für Fake News.

Vorgehen didaktische Evaluation: Eine hochschulgerechte Vermittlung von Fake News und Nachrichtenkompetenzen (News Literacies) soll alle der drei obengenannten Dimensionen beinhalten. Spiele wie auch andere Bildungsmaterialien sollen folglich an diesen drei Dimensionen, die untenstehend weiter detailliert werden, gemessen werden. Entsprechend wurde jedes der identifizierten Online-Spiele von zwei Experten:innen mit Hintergrund in Kommunikation und Bildungsmedien gespielt und gemäss dieser drei Dimensionen evaluiert. Die Evaluationen und deren Dokumentation erfolgten unabhängig voneinander. Erst in einem nächsten Schritt wurden die Evaluationsergebnisse gemeinsam verglichen, diskutiert und zusammengeführt. Allfällige Uneinigkeiten wurden konsensorientiert aufgelöst, sodass jede Evaluation von beiden Expert:innen getragen wurde.

Vermittelte Fähigkeiten zum Umgang mit Fake News

Diese Dimension umfasst die Fähigkeiten, d.h. die Anwendung von Methoden und Techniken, die notwendig sind, um Falschnachrichten als solche zu erkennen. Dabei können folgenden Kategorien weiter unterschieden werden:  

  1. Beitrags-bezogene Methoden (Analyse der eigentlichen Nachricht)
  2. Veröffentlichungskontext-bezogene Methoden (Analyse des Nachrichtenkontextes)

Beitrags-bezogene Methoden sind nachrichtenimmanent, d.h. sie konzentrieren sich auf die Analyse der eigentlichen Nachricht, indem sie z.B. die Untersuchung der Plausibilität der Argumentation eines Textes oder dessen Emotionalität umfassen.  

Veröffentlichungskontext-bezogene Methoden analysieren das weitere Umfeld einer Nachricht, wie z.B. Autorenschaft oder die Plattform auf der die Nachricht veröffentlicht wurde. Ein weiteres Beispiel ist die Suche nach zusätzlichen Quellen oder die Nutzung von Fact Checking Webseiten zur Überprüfung der Nachricht.  

Lernende sollen präemptiv mit einem methodischen Fake-News-Abwehr-Sensorium ausgestattet werden, denn sobald falsche Informationen einmal verinnerlicht sind ist es sehr schwer diese wieder loszuwerden (Lewandowsky et al., 2012; van der Linden et al., 2021). Die präemptive Herangehensweise kann mithilfe der Inokulations- («Impfungs)-Theorie (McGuire, 1964) erklärt werden. Diese besagt dass – analog zu einer medizinische «Impfung» – Lernende mit einer kleinen Fake News-Dosis konfrontiert werden. Sie sollen daran lernen Desinformation zu erkennen (van der Linden et al., 2021). Wie die Literatur zeigt, ist die Schulung solcher Fähigkeiten zumindest kurz- oder mittelfristig erfolgsversprechend: Untersuchungen haben z.B. ergeben, dass die Lektüre einfacher Überprüfungsmethoden zur Erkennung von Fake News, z.B. in Form von Tipps wie «Achte auf den URL, überprüfe die Fotos, schau dir die Quellen an, etc., die Fähigkeit von Lernenden, Falschnachrichten zu erkennen signifikant erhöht (Guess et al., 2020).

Vermitteltes Wissen zu Entstehung, Verbreitung und Auswirkungen von Fake News

Über konkrete Methoden hinaus soll auf Hochschulniveau auch ein Verständnis von den politischen, ökonomischen, sozialen und technologischen Systemen vermittelt werden in denen Falschnachrichten generiert und verbreitet werden. Dabei geht es allgemein um die Ursachen, Formen und Konsequenzen von Fake News. Studierende sollen im Sinne eines kritischen Medienkompetenzansatzes auf Machtdynamiken und vor allem auf ungleiche Machtverhältnisse sensibilisiert werden (Higdon, 2020). Das Phänomen Fake News kann nicht isoliert von breiteren Entwicklungen der Medienlandschaft sowie der politischen Kultur verstanden werden. Solche komplexeren Zusammenhänge tragen schliesslich entscheidend dazu bei, dass Fehlinformationen nicht einfach zu beseitigen sind (Buckingham, 2019). Dieses Hintergrundwissen über Mediensysteme kann theoretische Grundlagen zu Falschinformation und Propaganda als auch spezifische Kenntnisse über regionale und lokale Mediensysteme umfassen. Zum Beispiel haben sich ukrainische Bürgerinnen und Bürger in einem Medienkompetenzkurs konkrete Kenntnisse über das regionale Mediensystem, die politischen Akteure und deren Interessen angeeignet (Murrock et al., 2018). In dieser Studie wurde auch der Zusammenhang zwischen der Vermittlung von konkreten Fähigkeiten und dem breiteren Hintergrundwissen deutlich: jene Teilnehmende die höheres Mediensystemwissen aufwiesen, waren auch eher in der Lage Falschnachrichten zu identifizieren (Murrock et al., 2018). 

Neben dem politischen Wissen ist auch das Verständnis der Funktionsweise der sozio-technologischen  Systeme und Plattformen notwendig, wie etwa dass Social-Media-Nutzung die Verbreitung von Falschnachrichten durch sogenannte «Echokammern» fördert (Törnberg, 2018); oder warum emotionale (Falsch-)Nachrichten viel rascher und weiter verteilt werden (Vosoughi et al., 2018).  

Kritische Reflexion der eigenen Mediennutzung

Die beiden ersten Dimensionen, d.h. Kenntnisse über das Mediensystem sowie Fertigkeiten zur Erkennung von Fake News reichen nicht aus, um umfangreiche News Literacy Kompetenzen auf Hochschulniveau zu vermitteln. Das gilt vor allem dann, wenn sie «träge» bleiben, d.h.  wenn das Wissen und die Fertigkeiten lediglich im Unterricht eingeübt aber nicht auf den eigenen, alltäglichen Medienkonsum übertragen werden. Um das zu gewährleisten, brauchen Medienkonsument:innen ein «Mindset», das ihnen die fortwährende kritische Auseinandersetzung mit der eigenen, alltäglichen Mediennutzung und die Bewusstmachung von damit verbundenen Schwächen und Anfälligkeiten ermöglicht. Ein Beispiel dazu ist die Auseinandersetzung mit der eigenen Kognitiven Konsistenz (Lewandowsky et al., 2012) und dem dazugehörigen Confirmation Bias (Waldrop, 2017), d.h. der Tendenz, dass wir Informationen, die unseren eigenen Überzeugungen entsprechen, viel leichter Glauben schenken – ungeachtet dessen ob sie wahr oder falsch sind. Ein weiteres Beispiel ist die Tatsache, dass alleine die wiederholte Präsentation einer (Falsch-)Informationen deren wahrgenommene Glaubwürdigkeit erhöht (Lewandowsky et al., 2012). Spiele können vielzählige gestalterische Mittel realisieren, die Reflexionsprozesse in Studierenden auslösen können. Z.B. wäre es möglich, das politische Weltbild von Spielenden zu eruieren, sie daraufhin mit politisch kongruenten Falschnachrichten zu täuschen und ihnen so die eigene Anfälligkeit vor Augen zu führen. Ein weiteres Beispiel ist das Bad News Game, bei dem der Perspektivenwechsel bei dem sich Spielende in die Rolle des Bösewichts (d.h. eines Fake News Verteilers) versetzen, eine Auseinandersetzung mit der eigenen Vulnerabilität im Bezug auf die von ihnen angewandten Täuschungsstrategien hervorrufen könnte.

Einschätzung des Spiels durch Studierende

Zusätzlich zur didaktischen Evaluation wurde jedes Spiel von Studierenden des Faches Wirtschaftskommunikation des Bachelorstudienprogrammes Betriebsökonomie gespielt und anschliessend beurteilt. Ein Spiel wurde dabei im Schnitt 16 Spielenden evaluiert. Das Ziel dieser Studierendenevaluation ist jedoch kein wissenschaftlicher Vergleich der Spiele, weil für statistisch valide Aussagen die Anzahl der Spielenden zu gering wäre. Vielmehr soll diese Untersuchung eine zusätzliche, Perspektive der Zielgruppen eröffnen, die die didaktische Einschätzung ergänzt. Bei der Evaluation durch Studierende wurden durch geschlossen Fragen die folgenden, vor-validierten Gamification-Konstrukte, die wir im Rahmen eigener Studien überprüft und angewandt haben, erhoben:

  • Spielspass und Interesse (Hamari et al., 2016; Pimmer et al., 2020),
  • Immersion (Hamari et al., 2016; Pimmer et al., 2020),
  • Schwierigkeitsgrad  (Hamari et al., 2016; Pimmer et al., 2020),
  • Benutzerfreundlichkeit  (Davis, 1989; Pimmer et al., 2020)

Zusätzlich haben wir in Form einer geschlossenen und offene Frage den von den Studierenden wahrgenommen Wissenszuwachs erfragt. Ebenso haben wir mit weiteren offenen Fragen jene Aspekte eines Spiels, die Studierenden gefallen resp. nicht gefallen haben und die wahrgenommene Eignung des Spiels für den Einsatz in der Hochschule erhoben.  

Literatur

Buckingham, D. (2019). Teaching media in a ‹post-truth› age: fake news, media bias and the challenge for media/digital literacy education. Cultura Y Educacion, 31(2), 213-231. https://doi.org/10.1080/11356405.2019.1603814

Davis, F. D. (1989). Perceived usefulness, perceived ease of use, and user acceptance of information technology. Mis Quarterly, 319-340.

Guess, A. M., Lerner, M., Lyons, B., Montgomery, J. M., Nyhan, B., Reifler, J., & Sircar, N. (2020). A digital media literacy intervention increases discernment between mainstream and false news in the United States and India. Proceedings of the National Academy of Sciences, 117(27), 15536-15545.

Hamari, J., Shernoff, D. J., Rowe, E., Coller, B., Asbell-Clarke, J., & Edwards, T. (2016). Challenging games help students learn: An empirical study on engagement, flow and immersion in game-based learning. Computers in Human Behavior, 54, 170-179.

Higdon, N. (2020). What is fake news? A foundational question for developing effective critical news literacy education. Democratic Communiqué, 29(1), 1-18.

Lewandowsky, S., Ecker, U. K., Seifert, C. M., Schwarz, N., & Cook, J. (2012). Misinformation and its correction: Continued influence and successful debiasing. Psychological science in the public interest, 13(3), 106-131.

McGuire, W. J. (1964). Inducing resistance to persuasion. Some contemporary approaches. CC Haaland and WO Kaelber (Eds.), Self and Society. An Anthology of Readings, Lexington, Mass.(Ginn Custom Publishing) 1981, pp. 192-230.

Murrock, E., Amulya, J., Druckman, M., & Liubyva, T. (2018). Winning the War on State-Sponsored Propaganda: Results from an Impact Study of a Ukrainian News Media and Information Literacy Program. Journal of Media Literacy Education, 10(2), 53-85.

Pimmer, C., Eisemann, C., & Mateescu, M. (2020). Fake news resilience through online games? Tentative findings from a randomized controlled trial in higher education CELDA – 17th International Conference on Cognition and Exploratory Learning in Digital Age 2020, Lisbon, Portugal.

Törnberg, P. (2018). Echo chambers and viral misinformation: Modeling fake news as complex contagion. PloS one, 13(9), e0203958.

van der Linden, S., Roozenbeek, J., Maertens, R., Basol, M., Kácha, O., Rathje, S., & Traberg, C. S. (2021). How can psychological science help counter the spread of fake news? The Spanish Journal of Psychology, 24.

Vosoughi, S., Roy, D., & Aral, S. (2018). The spread of true and false news online. Science, 359(6380), 1146-1151.

Waldrop, M. M. (2017). News Feature: The genuine problem of fake news. Proceedings of the National Academy of Sciences, 114(48), 12631-12634.

×