Automatische Generierung von Reden

Das Institut für Data Science der FHNW untersucht generative Deep Learning-basierte Sprachmodelle zu Erzeugung von massgeschneiderten Texten.

Automatische Generierung einer Rede zur Eröffnung der Digitaltage Schweiz 2022

Methoden des Natural Language Processing (NLP) haben sich in den letzten Jahren enorm weiterentwickelt. Mit Transformer-basierten Sprachmodellen ist es möglich geworden, den Kontext für jedes Vorkommen eines bestimmten Wortes zu berücksichtigen. Diese Modelle haben die Qualität bei sprach-spezifische NLP-Anwendungen wie z.B. Übersetzung, Textzusammenfassung und Texterzeugung erheblich verbessert.

Im Rahmen eines Experimentes wollte das Eidgenössische Department des Äusseren (EDA) die Möglichkeiten und Grenzen moderner Sprachmodelle für die Automatische Generierung von Reden untersuchen und am Beispiel der Eröffnungsrede für die Digitaltage Schweiz 2022 durch Bundespräsident Ignazio Cassis testen.

Das Institut für Data Science FHNW untersuchte für diesen Auftrag State-of-the-Art Modelle, namentlich GPT-2 und GPT-3. Der Versuch eines Fine-Tunings von GPT-2 mit rund 50 öffentlich verfügbaren Reden von Bundespräsident Ignazio Cassis lieferte dabei deutlich schlechtere Resultate als die Versuche mit GPT-3 Davinci.

Die unter https://www.admin.ch/gov/de/start/dokumentation/reden/reden-der-bundesraete.msg-id-90238.html publizierte Rede, ist das Resultat systematischerExperimente mit GPT-3 Davinci. Dabei waren zwei manuelle Schritte notwendig. Erstens, formulierte das FHNW-0Projektteam Anweisungen in Form von «Prompts», welche längere Passagen maschinell-generieten Textes auf Deutsch und Englisch produzierten. Zweitens, wurde die Wahl passender Textpassagen aus mehreren Dutzend mit GPT-3 Davinci erzeugten Reden durch das EDA getroffen, nämlich die «Geschichte vom Bauern und vom Fremden» sowie die «Ziele der Digitalisierung».