Blog-Beitrag

KI trifft Lehre: Der AI Tutor des Studiengangs Data Science im Praxistest 

Monika Schlatter | 20. Mai 2025

Dieser Beitrag stammt von Valentina Vogel, Wissenschaftliche Mitarbeiterin am Institut für Kooperationsforschung und -entwicklung der Hochschule für Angewandte Psychologie und Monika Schlatter, Leiterin Didaktik-Zentrum HTU/HSI.

An der Hochschule für Informatik FHNW wurde eigens für den Studiengang Data Science gemeinsam mit Studierenden ein AI Tutor entwickelt. Der AI Tutor wurde spezifisch für die Beantwortung inhaltlicher Fragen zum Studiengang programmiert und liefert Referenzen zu den Lernquellen, anhand derer die Antworten generiert wurden. Der Launch fand zu Beginn des Herbstsemesters 2024 statt und wurde von einer Evaluation mittels Studierendenbefragung durch die Hochschule für Angewandte Psychologie FHNW und einer Analyse der Qualität der Antworten durch Dozierende begleitet. In diesem Artikel stellen wir den AI Tutor und die Ergebnisse der Evaluation vor. 

Der AI Tutor des Studiengang Data Science 

Der AI Tutor ist ein Entwicklungsprojekt, welches gleichzeitig untersucht, wie generative KI zur Unterstützung des Lernens verwendet und wie ein AI Tutor technisch umgesetzt werden kann. Er wurde von einem Team bestehend aus Forschenden und Studierenden an der Hochschule für Informatik FHNW entwickelt. Er basiert auf einem Large Language Modell (aktuell: Llama 3.2) mit Retrieval Augmented Generation (RAG). Dabei wurde der Inhalt der Lernmaterialien, welche den Studierenden über die studiengangseigene Lernplattform Spaces zur Verfügung stehen, extrahiert, aufgearbeitet und verstückelt (“chunking”). Das Sprachmodell greift auf diese Stücke zu und kann damit nicht nur die Frage gezielt beantworten, sondern auch die dazugehörigen Quellenangaben aus dem Lernmaterial geben. Den Studierenden ist es dank des AI Tutors auch möglich, Lernkontrollen zum Beispiel in Form von Multiple Choice Fragen zu generieren, die genau auf den behandelten Lernstoff abgestimmt sind. Der AI Tutor ist integraler Bestandteil der Lernplattform des Studiengangs Data Science und steht seit Herbst 2024 damit 152 Studierenden zur Verfügung.

Für die Einführung wurde ein Video erstellt, welches Tutor und Entwickler vorstellt:

Ablauf und Inhalt der Studierendenbefragung 

Alle Studierenden wurden einige Wochen nach dem Launch zur anonymen Teilnahme an der Online-Evaluation des AI Tutors eingeladen. Der verwendete Fragebogen setzte sich aus verschiedenen validierten Skalen zusammen. Hierzu zählten Items zur Nutzungsfreundlichkeit, wofür die deutsche Übersetzung der Bot Usability Scale (BUS-11; Borsci et al., 2023) und einzelne Items des Fragebogens zur Unified Theory of Acceptance and Use of Technology 2 (UTAUT2; Harborth & Pape, 2018) eingesetzt wurden. Weiter wurden Fragen zu Nutzungshäufigkeit und -zweck gestellt. So wurden die Studierenden beispielsweise gebeten, verschiedene Nutzungsszenarien entsprechend ihrer eigenen Erfahrungen mit dem Tutor einzuordnen, um zu untersuchen, ob sie die vorgesehenen Hauptfunktionen des Tutors, Fragen auf Basis der Vorlesungsmaterialien zuverlässig mit Quellenangaben zu beantworten und Lernkontrollfragen zu generieren, auch nutzten. Ausserdem hatten die Studierenden Gelegenheit, ihre Rückmeldung mittels offener Fragen anzugeben und dem AI Tutor eine Schulnote zu geben.  

An der Befragung haben 27 Studierende aus dem Studiengang Data Science teilgenommen, die Mehrheit davon männliche Studenten im ersten Semester des Bachelors. Für die Interpretation der Ergebnisse ist es wichtig zu erwähnen, dass die Umfrage vermutlich vor allem von Studierenden ausgefüllt wurde, die grundsätzlich engagiert und am AI Tutor interessiert sind, was die Ergebnisse verzerren kann. 

Erkenntnisse aus der Studierendenbefragung 

Insgesamt hielten die Studierenden die Einführung des Bots für eine gute Idee und gaben an, ihn mehrfach pro Woche zu nutzen und auch in Zukunft weiterhin nutzen zu wollen.  Die direkte Einbettung in die Lernplattform und die Gestaltung des Tutors wurden sehr positiv bewertet, mit hohen Werten für die Skalen Zugänglichkeit, Einfachheit der Nutzung und Antwortzeit. Durchmischter fielen die Antworten bezüglich der Qualität der Konversation und der Leistungserwartung aus, wobei sie weiterhin mehrheitlich positiv blieben.  

Aus Abbildung 1 geht hervor, dass die Studierenden den Bot am häufigsten für die Suche von Dokumenten genutzt haben. Auch freies Ausprobieren wurde häufig genannt und an zweiter und vierter Stelle lagen die bei der Entwicklung im Vordergrund stehenden inhaltlichen Fragen zum Studium. Der AI Tutor wurde nur selten zur Simulation von Prüfungsfragen verwendet. 

Aus den offenen Fragen geht hervor, dass die Angabe von Quellen von den Studierenden sehr gelobt und geschätzt wurde. Die Studierenden gaben jedoch auch an, dass sie andere KI-Chatbots häufiger nutzen als den AI Tutor. Andere Chatbots wie ChatGPT wurden hauptsächlich deshalb häufiger verwendet, weil diese auch Unterstützung beim Programmieren bieten. 

Ausserdem wurden die Studierenden aufgefordert, dem AI Tutor eine Note zu geben. Die Mehrheit der Studierenden hat das Projekt mit der Note 5 bewertet, im Schnitt ergibt sich die Note 4.73. 

Bewertung der Antwortqualität des AI Tutors durch die Dozierenden 

Um die Qualität der vom AI Tutor gegebenen Antworten zu bewerten, führte das Didaktik-Zentrum der HTU/HSI eine entsprechende Evaluation durch. Insgesamt 1192 Fragen/Antworten-Paare wurden von der Studiengangleitung den Modulen des Studiengangs zugeordnet (n=56 plus “allgemeine Fragen”). Bei Modulen mit mindestens 20 Fragen/Antworten-Paaren wurden die Dozierenden gebeten, diese bezüglich Relevanz, Korrektheit und Vollständigkeit/ Detaillierungsgrad auf einer Likert-Skala von 1-4 einzuschätzen (trifft vollständig zu, trifft zu, trifft nicht zu, trifft gar nicht zu). Insgesamt wurden 347 Paare aus 13 Modulen analysiert. 

Die Antworten des AI Tutors wurden von den Dozierende in hohem Masse als richtig, relevant und vollständig eingeordnet, wie beispielsweise in untenstehender Grafik ersichtlich 

Abbildung 3: Auswertung der Antworten auf die Frage “Die Antwort des AI Tutors ist richtig”, n=347 aus 13 Modulen/ 10 Dozierende

Eine Aufschlüsselung der Bewertungen nach Modulen zeigte keine Muster, die auf unterschiedliche Qualität der Antworten in Abhängigkeit von der Komplexität des Lernmaterials (Studienjahr) oder inhaltliche Ausrichtung der Module und/oder auf eine Bewertungstendenz der Dozierenden schliessen liess. Trotzdem kann nicht vollständig ausgeschlossen werden, dass die Dozierenden die Fragen/Antworten-Paare unterschiedlich streng beurteilten. 

Die Dozierenden konnten weiter in offener Form angeben, welche Art von Fragen die Studierenden gestellt hatten und wie sie die Qualität des Promptings der Studierenden einschätzten. Die Antworten wurden manuell kategorisiert und zeigten eine klare Tendenz für Wissens- und Verständnisfragen mit einer als mässig bis schlecht eingeschätzten Prompting-Qualität. Darunter wurde primär stichwortartiges Fragen ohne dialogischen Charakter verstanden. 

Fazit

Die Ergebnisse der Evaluation des AI Tutors zeigte insgesamt eine hohe Zufriedenheit der Studierenden bezüglich der Nutzerfreundlichkeit und der Dozierenden bezüglich der Qualität der gegebenen Antworten. Das dominante Nutzungsszenario war die Wissensabfrage, die mit einfachen Suchbegriffen durchgeführt wurde. Wenig genutzt wurde der AI Tutor bisher für die Simulation von Prüfungsfragen. Dies könnte darauf zurückzuführen sein, dass die Studierenden die Möglichkeiten des AI Tutors überhaupt noch ausloten müssen, ähnlich wie die Nutzung von ChatGPT sich immer weiterentwickelt. 

Um den AI Tutor gezielter auf die Bedürfnisse der Studierenden abzustimmen, wird er kontinuierlich ausgebaut. Künftig sollen auch Inhalte aus Videos extrahiert und in die Antworten integriert werden. Die Einbettung in den Studiengang und in die Lernprozesse der Studierenden soll durch organisatorische und didaktische Massnahmen begleitet werden. Als weiterer Schritt bietet sich zudem eine FHNW-weite Ausrollung an, um den AI Tutor für andere Studiengänge nutzbar zu machen. 

Quellen

Borsci, S., Schmettow, M., Malizia, A., Chamberlain, A., & van der Velde, F. (2023). A confirmatory factorial analysis of the Chatbot Usability Scale: A multilanguage validation. Personal and Ubiquitous Computing, 27(2), 317–330. https://doi.org/10.1007/s00779-022-01690-0 

Harborth, D., & Pape, S. (2018). German Translation of the Unified Theory of Acceptance and Use of Technology 2 (UTAUT2) Questionnaire. SSRN Electronic Journal. https://doi.org/10.2139/ssrn.3147708 

zurück zu allen Beiträgen

Kommentare

Keine Kommentare erfasst zu KI trifft Lehre: Der AI Tutor des Studiengangs Data Science im Praxistest 

Neuer Kommentar

×