Hauptinhalt überspringenNavigation überspringenFooter überspringen
Logo der Fachhochschule Nordwestschweiz
Studium
Weiterbildung
Forschung und Dienstleistungen
Internationales
Die FHNW
De
Standorte und KontaktBibliothek FHNWKarriere an der FHNWMedien

      Logo der Fachhochschule Nordwestschweiz
      • Studium
      • Weiterbildung
      • Forschung und Dienstleistungen
      • Internationales
      • Die FHNW
      De
      Standorte und KontaktBibliothek FHNWKarriere an der FHNWMedien
      Hochschulen
      Hochschule für Informatik FHNW
      Institut für Data Science
      Automatische Generierung von Reden

      Automatische Generierung von Reden

      Das Institut für Data Science der FHNW untersucht generative Deep Learning-basierte Sprachmodelle zu Erzeugung von massgeschneiderten Texten.

      Ziel

      Automatische Generierung einer Rede zur Eröffnung der Digitaltage Schweiz 2022

      Ausgangslage

      Methoden des Natural Language Processing (NLP) haben sich in den letzten Jahren enorm weiterentwickelt. Mit Transformer-basierten Sprachmodellen ist es möglich geworden, den Kontext für jedes Vorkommen eines bestimmten Wortes zu berücksichtigen. Diese Modelle haben die Qualität bei sprach-spezifische NLP-Anwendungen wie z.B. Übersetzung, Textzusammenfassung und Texterzeugung erheblich verbessert.

      Im Rahmen eines Experimentes wollte das Eidgenössische Department des Äusseren (EDA) die Möglichkeiten und Grenzen moderner Sprachmodelle für die Automatische Generierung von Reden untersuchen und am Beispiel der Eröffnungsrede für die Digitaltage Schweiz 2022 durch Bundespräsident Ignazio Cassis testen.

      Ergebnis

      Das Institut für Data Science FHNW untersuchte für diesen Auftrag State-of-the-Art Modelle, namentlich GPT-2 und GPT-3. Der Versuch eines Fine-Tunings von GPT-2 mit rund 50 öffentlich verfügbaren Reden von Bundespräsident Ignazio Cassis lieferte dabei deutlich schlechtere Resultate als die Versuche mit GPT-3 Davinci.

      Die unter https://www.admin.ch/gov/de/start/dokumentation/reden/reden-der-bundesraete.msg-id-90238.html publizierte Rede, ist das Resultat systematischerExperimente mit GPT-3 Davinci. Dabei waren zwei manuelle Schritte notwendig. Erstens, formulierte das FHNW-0Projektteam Anweisungen in Form von «Prompts», welche längere Passagen maschinell-generieten Textes auf Deutsch und Englisch produzierten. Zweitens, wurde die Wahl passender Textpassagen aus mehreren Dutzend mit GPT-3 Davinci erzeugten Reden durch das EDA getroffen, nämlich die «Geschichte vom Bauern und vom Fremden» sowie die «Ziele der Digitalisierung».

      Projektinformation

      table_scrollable_animation_gif
       
      Auftraggeber
      Eidgenössisches Department des Äusseren EDA
      Ausführung
      Institut für Data Science FHNW
      Projektteam
      Prof. Dr. Daniel Perruchoud, Dr. Fernando Benites, Dominik Frefel

      Die FHNW

      Hochschule für Informatik FHNW
      Institut für Data Science
      ht_ins_i4ds_projekte_gesellschaftht_ins_i4ds_projekt_teaser

      Angebot

      • Studium
      • Weiterbildung
      • Forschung & Dienstleistungen

      Über die FHNW

      • Hochschulen
      • Organisation
      • Leitung
      • Facts and Figures

      Hinweise

      • Datenschutz
      • Accessibility
      • Impressum

      Support & Intranet

      • IT Support
      • Login Inside-FHNW

      Member of: