«MEWS – Measuring English Writing at Secondary Level. A Binational Comparative Study»

Schreiben auf Englisch ist eine Schlüsselkompetenz für das spätere Studium. Mit Hilfe der binationalen Studie «MEWS» konnte untersucht werden, auf welchem Level Jugendliche ein Jahr vor der Matura bzw. dem Abitur argumentative Texte verfassen.

Ein Projekt der Professur für Englischdidaktik

Fragestellung

Die englische Sprache ist die lingua franca in Bildung, Wirtschaft und Wissenschaft. Zudem ist Englisch unverzichtbar für die moderne Kommunikation. Schülerinnen und Schüler der gymnasialen Oberstufe lernen deshalb, wie sie auf Englisch möglichst effektiv argumentieren und Essays strukturieren. Die MEWS-Studie untersucht erstmals den Inhalt und die Sprache solcher Texte und fragt, welche Faktoren im Bereich der Schule, der Familie und der Freizeit die Schreibfähigkeiten beeinflussen.

Informationen zur Erhebung

Insgesamt wurden für die Studie Daten von n = 965 Schülerinnen und Schülern in Deutschland (Schleswig-Holstein) und n = 1‘882 Schülerinnen und Schülern in der Nordwestschweiz an allgemeinbildenden Gymnasien erhoben. Die Schülerinnen und Schüler wurden jeweils zu Anfang und Ende des vorletzten Schuljahrs vor der Matura / Abitur getestet.

Die MEWS Studie zielte auf eine breite Repräsentation der in den Lehrplänen der beiden Länder enthaltenen Lernziele für das englische Schreiben ab (vgl. dazu im Detail Fleckenstein, Keller, Krüger, Tannenbaum, & Köller, 2019). Da es noch kein empirisches Verfahren für eine umfassende Prüfung von englischen Schreibfähigkeiten gab, wählte das Forschungsteam Aufgaben aus dem TOEFL-iBT-Schreibtest aus, da dessen Schreibaufgaben und Bewertungskriterien eine gute Passung zu den Lehrplänen in Deutschland und der Schweiz aufwiesen.

Der TOEFL iBT-Schreibtest enthält zwei Aufgabentypen. Bei „independent writing“ besteht die Aufgabe darin, über ein kontroverses Thema zu schreiben, das in einem "agree-disagree" -Format formuliert ist. Es handelt sich also im Wesentlichen ein argumentativer Aufsatz. Bei „integrated writing“ erfordert die Aufgabe, dass die Lernenden eine kurze Passage aus einem Bericht lesen und dann einen Audiotext zum gleichen Thema, aber mit einem divergierenden Standpunkt, anhören. Anschliessend werden die Lernenden gebeten die jeweiligen Informationen aus den beiden Texten in einen kurzen Bericht zu vergleichen und zu besprechen. Es handelt sich also um sachliches Schreiben.
Aus Perspektive der Bildungsziele beziehen sich die Aufgaben auf zwei übergeordnete Ziele (oder Funktionen) des Englischen Schreibens, die in Deutschland wie in der Schweiz zentral sind: Erstens sollen die Lernenden fähig sein, ihre persönliche Meinung zu einem bestimmten Thema zu äussern und dazu passende Argumente überzeugend vorzubringen („independent writing“). Zweitens sollen sie in der Lage sein, eine breite Palette von gesprochenen und geschriebenen Texten (Berichte, Blogs usw.) als Input für ihr eigenes Schreiben zu verwenden („integrated writing“).

Die Auswertung der Schreibaufgaben fand in Zusammenarbeit mit dem Educational Testing Service (ETS) in Princeton (USA) statt. Die Verfahren der Auswertung sind in Rupp et al. (2018) im Detail beschrieben. Jeder Text wurde von zwei ausgebildeten menschlichen Beurteilern auf einer holistischen Beurteilungsskala eingeschätzt. Zudem erhielt jeder Text ein Urteil durch die Beurteilungssoftware E-Rater©. Diese erfasst zentralen Aspekte von Textqualität v.a. auf der syntaktischen, lexikalischen und sprachformalen Ebene und wird eingesetzt, um Textbeurteilungen gegen menschliche Urteilsfehler abzusichern (Verzerrungen, Reihenfolge-, Milde-, Strengeeffekte) (vgl. Rupp et al., 2018; vgl. auch Limitationen, unten).

Ergebnisse und Veröffentlichungen

Im Rahmen der MEWS Studie sind bislang folgende Veröffentlichungen erschienen:

Keller, S. (2016): Measuring Writing at Secondary Level (MEWS). Eine binationale Studie. Babylonia, 3 / 2016, 46-48. Link
Rupp, A., Casabianca, J., Krüger, M., Keller, S., & Köller, O. (2018). Automated Essay Scoring at Scale: A Case Study in Switzerland and Germany. Wiley Online Library. https://onlinelibrary.wiley.com/doi/10.1002/ets2.12249
Fleckenstein, J., Keller, S., Krüger, M., Tannenbaum, R., & Köller, O. (2019). Linking TOEFL iBT® Writing Rubrics to CEFR Levels: Cut Scores and Validity Evidence from a Standard Setting Study. Assessing Writing, 41. https://doi.org/10.1016/j.asw.2019.100420
Köller, O., Fleckenstein, J., Meyer, J., Paeske, A.L., Krüger, M., Rupp, A., & Keller, S. (2019). Schreibkompetenzen im Fach Englisch in der gymnasialen Oberstufe. Zeitschrift für Erziehungs- wissenschaften. https://doi.org/10.1007/s11618-019-00910-3
Keller, S., Fleckenstein, J., Krüger, M., Köller, O., & Rupp, A. (2020). English writing skills of students in upper secondary education: Results from an empirical study in Switzerland and Germany. Journal of Second Language Writing 1/2020. https://doi.org/10.1016/j.jslw.2019.100700
Keller, S. (2020). Wie gut schreiben Lernende auf der gymnasialen Oberstufe
englische Texte? Gymnasium Helveticum. 2/2020. Online unter https://vsg-sspes.ch/fileadmin/user_upload/publikationen/Gymnasium_Helveticum/GH-PDF/GH_2020_02_d.pdf

Diese Liste wird laufend aktualisiert.
Weitere Informationen zur MEWS Studie erhalten Sie unter bWV3cy5waEBmaG53LmNo.