Optimierung für Machine Learning

Optimierung von Zielgrössen steht im Mittelpunkt der Prozesse des maschinellen Lernens: Wenn wir ein parametrisches Modell verwenden, wollen wir die Modellparameter optimal in Bezug auf eine geeignete Kostenfunktion wählen, um die bestmögliche Anpassung von Modell und Daten zu erreichen. Darüber hinaus müssen wir in der Regel optimale Modellhyperparameter auswählen, um die bestmögliche Modellleistung in Bezug auf eine Zielmetrik zu erzielen.

In diesem Modul wird die Optimierung von Grund auf eingeführt, mit besonderem Fokus auf Anwendungen in Machine Lerning. Die Struktur von Optimierungsproblemen sowie verschiedene Lösungsstrategien werden untersucht, um Optima für unterschiedliche Situationen zu finden. Außerdem lernen wir Eigenschaften von Lösungen und Lösungsstrategien kennen.

Die Studierenden kennen unterschiedlich strukturierte Optimierungsprobleme (d.h. Optimierungsprobleme mit bekannten analytischen und Black-Box-Zielfunktionen, diskrete und kontinuierliche Zielfunktionen und Variablen, differenzierbare und nicht-differenzierbare Zielfunktionen, unbeschränkte und beschränkte Optimierung, konvexe und nicht-konvexe Optimierungsprobleme) und können ein Optimierungsproblem entsprechend charakterisieren. Sie verstehen die folgenden Konzepte: Stationarität, Dualität, Optimalitätsbedingungen, optimale Substruktur.

Die Studierenden kennen einige ausgewählte Optimierungsalgorithmen erster und zweiter Ordnung für konvexe und nicht-konvexe, beschränkte und unbeschränkte Kostenfunktionen, können diese implementieren und in der Praxis anwenden. Sie wissen, wie sie Beschleunigung, Impuls und weitere methodische Erweiterungen einsetzen können. Schließlich wissen sie, wie man optimale Lösungen für Min-Max-Optimierungsprobleme findet.

Die Studierenden kennen Strategien und einige Algorithmen zur Optimierung von Black-Box-Funktionen, z.B. bei der Suche nach optimalen Hyperparametern. Sie kennen Surrogate Model-Methoden (z.B. Bayes'sche Optimierung) sowie globale Optimierungsansätze (z.B. Genetische Algorithmen) und können diese implementieren und anwenden.

Anwendungen der Linearen Algebra, Vertiefende Themen der Analysis, Grundkompetenz Machine Learning, (Deep Learning)