Natural Language Processing,

Natural Language Processing beschäftigt sich mit der Interaktion zwischen Computern und menschlicher Sprache und hat sich in den letzten Jahren zu einem attraktiven und relevanten Zweig der künstlichen Intelligenz entwickelt. Mit NLP können Routineaufgaben wie das Kategorisieren von Dokumenten, das Erkennen von Stimmungen in Texten oder das Beantworten von Kundenanfragen effizient gelöst werden.

Viele NLP-Anwendungen basieren auf maschinellen Modellen, die darauf trainiert sind, Muster in grossen Textdatensätzen zu erkennen.

Aufbereitung und Repräsentation von Textdaten Ziel dieses Lernergebnisses ist es, dass Du mit spezifischen Konzepten der Datenaufbereitung (z.B. Text Normalization und Tokenization), insbesondere auch dem Data Cleansing und der Data Augmentation für NLP-Anwendungen vertraut bist. Du kennst Möglichkeiten und Unterschiede der Repräsentation von Wörtern und Sätzen (z.B. TF-IDF, Word2Vec, GloVe, BERT, Sentence Transformers) mittels Sparse, Dense, und Contextual Embeddings und kannst diese zielführend einsetzen.

Statistische und neuronale Sprachmodelle In diesem Lernergebnis arbeitest Du darauf hin, die Prinzipien unterschiedlicher Typen von Sprachmodellen (z.B. Word n-gram models, RNNs, transformer-decoder LLMs) zu verstehen. Du lernst wie Sprachmodelle trainiert und evaluiert werden (z.B. BLEU, WER, Perplexity) und wie mit Hilfe von Sprachmodellen und Decodierungsverfahren (z.B. Greedy Decoding, Beam Search) Texte erzeugt werden können.

Transformer-basierte Modellalgorithmen In diesem Lernergebnis erarbeitest Du Dir ein Verständnis der Funktionsweise von Transformer-basierten Modellen und verstehst, wie diese für spezifische NLP-Anwendungen z.B. Textklassifikation, -übersetzung oder -generierung mittels Encoder und Decoder unterschiedlich konfiguriert und mit Metriken zielführend evaluiert werden können. Du verstehst auch, welche grundlegenden Verbesserung damit gegenüber klassischen Machine Learning und Deep Learning-Ansätze wie Seq2Seq (z.B. LSTM, GRU) erzielt wurden.

Lernmethoden für NLP NLP hat bemerkenswerte Fortschritte beim Verstehen und Erzeugen natürlicher Sprache erzielt, wobei verschiedene Lernmethoden wie z.B. “pre-training” , “fine-tuning” oder “in-context learning” zum Einsatz kommen, um Aufgaben wie Textklassifikation, -generierung oder Fragebeantwortung zu bewältigen.

Dieses Lernergebnis zielt darauf ab, dass Du in der Lage bist, NLP-Lernmethoden in eigenen Worten zu beschreiben, zu differenzieren, richtig einzusetzen und kombinieren zu können.

NLP Tools & Frameworks Beim Bearbeiten der Mini-Challenges wirst Du bestehende NLP / Deep-Learning Frameworks verwenden, welche die Umsetzung der Modelle enorm vereinfachen. Somit wirst Du in diesem Lernergebnis gängige Python Frameworks kennen- und verwenden lernen (z.B. spaCy, HuggingFace, PyTorch).

• Grundlagen der Linearen Algebra (gla)
• Grundlagen der Analysis (gan)
• Grundkompetenz Programmieren (gpr)
• Grundkompetenz Machine Learning (gml)
• Deep Learning (del)