Modul: Advanced NLP, Hochschule für Informatik FHNW

Daten sind eine zentrale Ressource unserer modernen Informationsgesellschaft. Ein grosser Teil davon legt in unstrukturierter Form als Text vor.Natural Language Processing (NLP) macht solche Daten für Computer interpretierbar und ermöglicht deren automatisierte Verarbeitung. NLP ist somit ein wichtiger Bestandteil des digitalen Zeitalters und bietet grosses Potenzial, einen Mehrwert für Unternehmen zu schaffen.

Das Modul vermittelt dir moderne NLP-Verfahren und deren praktische Anwendung in verschiedenen Use-Cases. So kannst du nach Abschluss des Moduls eigene NLP-Projekte realisieren.

• Du frischst dein Wissen über Vektor-Repräsentationen von Dokumenten auf und lernst verschiedene Netzwerkarchitekturen kennen. Diese reichen von Recurrent Neural Networks (RNN) und Convolutional Neural Networks (CNN) bis hin zu modernen Attention-Mechanismen und Transformer-Architekturen, welche das Fundament der aktuellen Large Language Models (LLM) bilden.
• Du lernst die Prinzipien vonLarge Language Models (LLMs),Retrieval-Augmented Generation (RAG)und multimodalen Systemen kennen. Darüber hinaus beschäftigst du dich mit wichtigen Themen wie Feintuning, Vektordatenbanken,synthetischen Datenund modernen Technologien wie Prompting-Strategien undAgentic AI.
• Du lernst, wie vortrainierte Modelle auf neue Problemstellungenangewendet werden können. Du bist in der Lage, jeweils Vor- und Nachteile wie auch die Anwendungsfälle der verschiedenen Modelle zu beurteilen. Zudem erfährst du, wie LLMs mittels Prompting-Techniken und Fine Tuning für gängige Applikationen wie Retrieval Augmented Generation (RAG)eingesetzt werden können.

Neben der Verarbeitung von Textdaten ist auch Acoustic Language Processing (ALP)Teil des Moduls. Hier lernst du, nicht-semantische Informationen wie Emotionen aus gesprochener Sprache zu extrahieren. Ausserdem wird eine Übersicht über NLP Cloud Services und deren Anwendung, beispielsweise für Speech-to-Text, gegeben.

Lernziele

Im ersten Schritt wird jeweils ein grundlegendes Verständnis zu den behandelten NLP-Verfahren und deren Algorithmen vermittelt und im zweiten Schritt wird das erarbeitete Wissen auf ein Praxisbeispiel angewendet und vertieft.

Du kannst:

• Textdatensätze explorativ analysieren und dadurch deren Eigenschaften verstehen.
• vortrainierte Modelle mittels Fine Tuning auf neue Problemstellungen übertragen.
• Du kannst ein NLP-Projekt planen und deine Modellwahl begründen.
• NLP-Cloud-Services (z. B. Speech-to-Text) in deine Arbeit integrieren.

Du kennst

• Verschiedene Netzwerkarchitekturen (RNN, CNN, seq2seq, Transformer) und ihre jeweiligen Stärken und Schwächen.
• Die Möglichkeiten zur Generierung und Nutzung synthetischer Daten.
• Die Anwendungsmöglichkeiten von AI Agents.
• Die wichtigsten NLP-Cloud-Services und deren Einsatzgebiete.

Du weisst

• Wie Wörter und Dokumente als Vektoren dargestellt und miteinander verglichen werden.
• Wie Vektordatenbanken zur Unterstützung generativer Modelle genutzt werden.

Du verstehst

• Die Funktionsweise der Transformer-Architektur und aktueller LLMs sowie deren Einsatz mit Prompting-Techniken.
• Wie Unternehmensdaten mittels eines Retrieval-Augmented-Generation-(RAG)-Setups mit grossen Sprachmodellen verknüpft werden können, um unternehmensspezifische Informationen zu extrahieren.
• Die ethischen und gesellschaftlichen Auswirkungen von generierten Texten.

Technologie

• Python,
• Scikit-Learn,
• Tensorflow,
• Docker

• Abschluss einer Hochschule (FH, Uni, ETH) oder
• gleichwertige Berufsausbildung mit Praxiserfahrung.
  Bewerbungen ohne Hochschulabschluss sind sur Dossier möglich, wenn entsprechende Kenntnisse oder Berufserfahrung nachgewiesen werden.

Maximale Teilnehmerzahl: 20 Personen

Folgende Vorkenntnisse solltest du mitbringen:

• Du verfügst über Python-Grundkenntnisse und kennst Libraries wie Pandas, NumPy und Scikit-Learn.
• Du kannst ein einfaches Machine Learning-Modell in Python mit scikit-learn trainieren, evaluieren und anwenden.
• Du weisst, was Feedforward Neural Networks sind und wie diese trainiert werden.