Vertiefung Deep Learning
In diesem Fortsetzungsmodul zu «Grundlagen Deep Learning» sollen einige weitere Modellierungskonzepte und Lerntechniken aus dem Deep Learning-Bereich kennengelernt und verstanden werden, insbesondere soll die Transformer-Architektur verstanden werden und erste einfache Beispiele von generativen Modellen kennengelernt werden.
RNN
Die Studierenden kennen die wichtigsten Ausprägungen von Recurrent Neural Networks (RNN) und deren Verwendung (als Classifier, Sequence-to-Sequence, Encoder/Decoder). Sie verstehen die Schwächen von 'einfachen' RNNs sowie wie diese mit Hilfe von long-term Memory in GRUs oder LSTMs abgeschwächt werden können. Sie können einige Beispiel-Anwendungen selbständig implementieren.
Attention, Transformer
Die Studierenden verstehen das Konzept des Attention-Mechanismus und wie das in der Transformer-Architektur (z.B. für Sprach-Übersetzung) umgesetzt wird.
Foundation Models, Self-Supervised Learning
Die Studierenden haben die wichtigsten Charakteristiken von Foundation-Modellen bereits in den «Grundlagen Deep Learning» kennengelernt. Hier verstehen sie vertiefter, wie Foundation Modelle trainiert werden. Ein besonderes Augenmerk sollen die häufig in diesem Zusammenhang verwendeten «Self-Supervised Learning» und «Contrastive Learning» gelegt werden.
Generative Modelle (Einführung)
Die Studierenden kennen einige einfache Beispiele von generativen Modellen und wie diese trainiert und angewendet werden können. Als guter Einstieg dienen beispielsweise Variational Autoencoders (VAE) oder Generative Adversarial Networks (GAN). Diese können sie in einem geeigneten Framework implementieren und verstehen die Schwierigkeiten, die beim Training auftreten können.