Modulbeschreibung
- Deep Learning
| Nummer |
del
|
| ECTS | 4.0 |
| Anspruchsniveau | Advanced |
| Inhalt | Deep Learning hat in den letzten Jahren enorm an Aufmerksamkeit gewonnen. Signifikante Verbesserungen konnten in Anwendungsbereichen erzielt werden, die traditionell als einfach für Menschen aber schwierig für Maschinen eingestuft worden waren - insbesondere in Computer Vision Tasks (z.B. Objekt-Erkennung) und Natural Language Processing Tasks (z.B. Sprachübersetzung oder Sprachverständnis). Das Hauptziel hier ist, ein gutes Verständnis der Grundlagen des Deep Learning zu erlangen und einige typische Anwendungen kennenzulernen. Das umfasst, einige gut-etablierte Deep Learning Architekturen zu kennen, zu wissen, wie diese implementiert und trainiert werden, sowie in welchen Problemstellungen diese sinnvollerweise angewandt werden können. |
| Lernergebnisse | Multi-Layer Perceptron Studierende kennen die elementaren Bausteine eines Multi-Layer Perceptrons (MLP) und verstehen, wozu MLPs nützlich sind. Sie verstehen auch, wie Netzwerke mit nur einem "Hidden Layer" beliebige Funktionen approximieren können und haben eine Intuition dafür, wie Netzwerke mit vielen Layern dabei helfen, komplexe Muster in den Daten zu extrahieren, sowie dem "Curse of Dimensionality" zu begegnen, indem hierarchische Konzepte effizient repräsentiert werden. Trainieren von Neuronalen Netzen Die Studierenden haben detaillierte Kenntnisse des Backpropagation Algorithmus (dem "Work Horse" fürs Lernen von Neuronalen Netzen), kennen dessen Schwachpunkte in der praktischen Anwendung (z.B. "vanishing / exploding gradients") und wissen, wie diese gemindert werden können (z.B. verschiedene Aktivierungsfunktionen, Batch-Normalisierung, Parameter-Initialisierung). Sie kennen die Funktionsweise und den Nutzen verschiedener Regularisierungsverfahren (z.B. Dropout, Data Augmentation) und wissen, wie diese angewandt werden können. Sie kennen die wichtigsten Massnahmen, um das Konvergenzverhalten beim Lernen mit einfachem Gradient Descent zu verbessern (Adam, etc.). Schliesslich können die Studierenden mit Hilfe von Lernkurven und Performance-Metriken den Trainingserfolg beurteilen. CNN Die Studierenden kennen die Funktionsweise und den Nutzen der elementaren Bausteine von Convolutional Neural Nets (CNN) und verstehen, wie diese sinnvoll kombiniert werden können. Sie kennen die wichtigsten Imagenet-Architekturen und wissen, wie diese mit Transfer Learning praktisch eingesetzt werden können. Sie wissen, wie die in trainierten Netzwerken kodierte Information z.B. mit Hilfe von Activation Maximization oder Saliency Maps sichtbar gemacht werden können. Im Weiteren kennen sie das Konzept der Autoencoders und wozu diese verwendet werden können (z.B. für Pre-Training oder layer-wise Training). Sie können einige Beispiel-Anwendungen selbständig implementieren. RNN Die Studierenden kennen die wichtigsten Ausprägungen von Recurrent Neural Networks (RNN) und deren Verwendungsformen (als Classifier, Sequence-to-Sequence, Encoder/Decoder). Sie verstehen die Schwächen von 'einfachen' RNNs sowie wie diese mit Hilfe von long-term Memory in GRUs oder LSTMs teilweise behoben werden können. Sie können einige Beispiel-Anwendungen selbständig implementieren. Tools Die Studierenden kennen die wichtigsten Deep-Learning Frameworks (gegenwärtig TensorFlow und PyTorch). Für einige ausgewählte Frameworks können sie typische Anwendungsbeispiele selbständig umsetzen und kennen die Möglichkeiten, wie Trainingsparameter gesetzt werden können. Schliesslich wissen sie auch, wie in diesen Frameworks implementierter Code effizient ausgeführt werden kann, insbesondere auch auf der GPU effizient ausgeführt werden kann. Im Weiteren kennen die Studierenden die gängigen Möglichkeiten (u.a. Tools), die Implementierung von Modellen zu validieren, deren Training zu überwachen oder deren Funktionsweise zu analysieren. |
| Modulbewertung | Note |
| Baut auf folgenden Modulen auf | Grundkompetenz Machine Learning, Lineare Algebra, Analysis (Einführung und Vertiefung). |
| Modultyp | Portfoliomodul |
Diese Seite teilen: