Vertiefung Deep Learning

    Nummer
    0-I-B-X-0vdl.EN/24
    ECTS
    3.0
    Kategorie-Codes
    Modul
    Anmeldestatus Info
    m.Aktiv
    Anspruchsniveau
    Advanced
    Inhalt

    In diesem Fortsetzungsmodul zu «Grundlagen Deep Learning» sollen einige weitere Modellierungskonzepte und Lerntechniken aus dem Deep Learning-Bereich kennengelernt und verstanden werden, insbesondere soll die Transformer-Architektur verstanden werden und erste einfache Beispiele von generativen Modellen kennengelernt werden.

    Lernergebnisse

    RNN

    Die Studierenden kennen die wichtigsten Ausprägungen von Recurrent Neural Networks (RNN) und deren Verwendung (als Classifier, Sequence-to-Sequence, Encoder/Decoder). Sie verstehen die Schwächen von 'einfachen' RNNs sowie wie diese mit Hilfe von long-term Memory in GRUs oder LSTMs abgeschwächt werden können. Sie können einige Beispiel-Anwendungen selbständig implementieren.


    Attention, Transformer

    Die Studierenden verstehen das Konzept des Attention-Mechanismus und wie das in der Transformer-Architektur (z.B. für Sprach-Übersetzung) umgesetzt wird.


    Foundation Models, Self-Supervised Learning

    Die Studierenden haben die wichtigsten Charakteristiken von Foundation-Modellen bereits in den «Grundlagen Deep Learning» kennengelernt. Hier verstehen sie vertiefter, wie Foundation Modelle trainiert werden. Ein besonderes Augenmerk sollen die häufig in diesem Zusammenhang verwendeten «Self-Supervised Learning» und «Contrastive Learning» gelegt werden.


    Generative Modelle (Einführung)

    Die Studierenden kennen einige einfache Beispiele von generativen Modellen und wie diese trainiert und angewendet werden können. Als guter Einstieg dienen beispielsweise Variational Autoencoders (VAE) oder Generative Adversarial Networks (GAN). Diese können sie in einem geeigneten Framework implementieren und verstehen die Schwierigkeiten, die beim Training auftreten können.

    Modulbewertung
    Note
    Baut auf folgenden Modulen auf
    Deep Learning
    Modultyp
    Portfoliomodul