Deep Learning

Deep Learning hat in der letzten Dekade enorm an Aufmerksamkeit gewonnen. Signifikante Verbesserungen konnten in Anwendungsbereichen erzielt werden, die traditionell als einfach für Menschen, aber als schwierig für Maschinen eingestuft worden waren - insbesondere in den Bereichen Computer Vision (z.B. Objekt-Erkennung) und Natural Language Processing (z.B. Sprachübersetzung und -verständnis, Chat Bots).

Das Hauptziel hier ist, einige der Grundlagen des Deep Learning und ein paar typische Anwendungen kennenzulernen. Das umfasst, Techniken fürs Trainieren von tiefen Architekturen zu erlernen, sowie einige gut-etablierte Deep Learning Architekturen mehrheitlich aus dem Computer Vision Bereich zu kennen.

Trainieren von Neuralen Netzen mit Stochastic Gradient Descent

Studierende verstehen, wie Stochastic Gradient Descent fürs Trainieren von Neuronalen Netzen verwendet werden kann und wie der Backpropagation Algorithms funktioniert, welcher für die Berechnung der Gradienten bei Neuronalen Netzen verwendet wird. Das Verständnis soll auf Basis eines Netzwerks vom Typ Multi-Layer Perceptrons (MLP) erarbeitet werden. Die Studierenden verstehen ausserdem, wie Netzwerke mit nur einem "Hidden Layer" beliebige Funktionen approximieren können und haben eine Intuition dafür, wie Netzwerke mit vielen Layern dabei helfen, komplexe Muster in den Daten zu extrahieren, sowie dem "Curse of Dimensionality" zu begegnen, indem hierarchische Konzepte effizient repräsentiert werden.

Trainieren von tiefen Neuronalen Netzen

Die Studierenden kennen die Schwierigkeiten, welche im Speziellen beim Trainieren von tiefen neuronalen Netzen auftreten können (z.B. "vanishing / exploding gradients"), und wissen, wie diese gemindert werden können (z.B. verschiedene Aktivierungsfunktionen, Batch-Normalisierung, Parameter-Initialisierung). Sie kennen die Funktionsweise und den Nutzen verschiedener Regularisierungsverfahren (z.B. Dropout, Data Augmentation) und wissen, wie diese angewandt werden können. Sie kennen die wichtigsten Massnahmen, um das Konvergenzverhalten beim Lernen mit einfachem Gradient Descent zu verbessern (Adam, etc.). Schliesslich können die Studierenden mit Hilfe von Lernkurven und Performance-Metriken den Trainingserfolg beurteilen.

CNN

Die Studierenden kennen die Funktionsweise und den Nutzen der elementaren Bausteine von Convolutional Neural Nets (CNN) und verstehen, wie diese sinnvoll konfiguriert und kombiniert werden können. Sie kennen die wichtigsten tiefen Computer Vision-Architekturen und welche Neuerungen damit eingeführt worden sind. Sie wissen, wie die in trainierten Netzwerken kodierte Information z.B. mit Hilfe von Activation Maximization sichtbar gemacht werden können.

Transfer Learning

Die Studierenden wissen, wie vortrainierte Netzwerke mit Transfer Learning weiterverwendet werden können und worauf bei einer spezifischen Problemstellung zu achten ist. Sie kennen ein paar häufig verwendete vortrainierte Netzwerke aus dem Bereich Computer Vision. Ausserdem wissen sie, was Foundation Modelle sind, wie und wofür sie trainiert worden sind.

Tools

Die Studierenden kennen die wichtigsten Deep-Learning Frameworks (gegenwärtig TensorFlow und PyTorch). Sie wissen, wie Gradienten in diesen Frameworks auf Basis von Computational Graphs automatisch berechnet werden können (autograd). Für ein ausgewähltes Framework können sie typische Anwendungsbeispiele selbständig umsetzen und wissen, wie Modelle effizient (insbesondere auch auf der GPU ausgeführt) ausgeführt werden können. Im Weiteren kennen die Studierenden die gängigen Möglichkeiten (u.a. Tools), die Implementierung von Modellen zu validieren, deren Training zu überwachen oder deren Funktionsweise zu analysieren.

Grundkompetenz Machine Learning,

Lineare Algebra, Analysis (Einführung und Vertiefung).