Modul: ML in Production, Hochschule für Informatik FHNW

Wenn du mit Data Science arbeitest, kennst du dieses Szenario: du trainierst und evaluierst ein Machine Learning Modell mit einem vorhandenen Daten-Export lokal in einem Jupyter Notebook. Die Resultate sehen gut aus – aber das ist erst der Anfang!

Sobald dein Modell produktiv eingesetzt werden soll, wird es spannend: Für einen stabilen, sicheren und nachvollziehbaren Betrieb musst du viele weitere Aspekte beachten.

Ein paar Beispiele:

• Wie betreibst du dein Modell?
  Lokal oder in der Cloud – beides bringt technische, betriebliche und rechtliche Anforderungen mit sich.
• Wie behältst du die Performance im Blick?
  Ohne Monitoring kann ein Modell mit der Zeit unbemerkt schlechter werden – etwa, wenn sich die Input-Daten verändern.
• Wie vergleichst du neue Modelle mit bestehenden?
  Nur durch gezieltes Training und Evaluation erkennst du, ob sich ein Update wirklich lohnt.
• Wie spielst du neue Modelle ein, ohne den Betrieb zu unterbrechen?
  Zero-Downtime-Deployments sind im AI-Betrieb entscheidend.

In zwei Unterrichtstagen fokussierst du dich auf die konkrete Umsetzung einer professionellen Machine-Learning-Infrastruktur auf Kubernetes in der Google Cloud und die dafür erforderlichen Konzepte. Du erhältst zuerst einen Überblick über die zentralen Software-Entwicklungsgrundlagen wie Versionierung (auch bezüglich Machine Learning Modellen & Datasets), Packaging oder Pipelines. Im Anschluss steht das Deployment mit Themen wie Deployment Strategien (Canary Release, A/B Testing…), Monitoring/Metriken, High-Availability & Fault-Tolerance im Vordergrund. Abgerundet wird der Teil mit weiterführenden Themen wie Lifecycle Mangement oder Online-Learning. Am Ende dieses Kursteils wurden sämtliche Konzepte praktisch umgesetzt, so dass du im Anschluss selbst in der Lage bist, dein ML-Modell professionell zu betreiben.

Lernziele

Du kannst:

• deine Machine-Learning-Modelle und -Daten sauber versionieren.
• dein Machine-Learning auf Kubernetes in der Cloud deployen.
• dich begründet für eine Deployment-Strategie (Canary-Releases, A/B-Testing, Shadowing etc.) entscheiden und diese während des laufenden Betriebs durchführen, ohne dass der Nutzer davon etwas merkt.
• eine laufende Machine-Learning-Anwendung überwachen und warten.
• das Prinzip von Online-Learning in der Praxis umsetzen.

Du kennst:

• verschiedene Deployment-Strategien (Canary-Releases, A/B-Testing, Shadowing etc.).
• das Prinzip von Online-Learning.

Du weisst:

• wie du den Code strukturieren musst, damit dieser auch ausserhalb des Jupyter Notebooks verwendet werden kann.
• wie du einen hoch-verfügbaren Service in der Cloud anbieten kannst.

Du bist:

• mit dem Konzept der Containerisierung vertraut.

Technologie

Kubernetes, Python, Scikit-learn, Google Cloud

Florian Lüscher, Mitgründer und Solution Architect der Firma dsi-ag, welche sich auf agile Software-Entwicklung, Machine Learning & Cloud Computing spezialisiert hat. Zusätzlich organisiert Florian Lüscher die ML Meetups in Bern.
LinkedIn

Erwartete Vorkenntnisse

Du hast Grundkenntnisse im Umgang mit Daten und eine Affinität zum Programmieren. Dabei hast du erste Erfahrungen mit Python und Machine Learning gesammelt und kannst Modelle trainieren. Von Vorteil sind Erfahrungen in typischen betrieblichen IT-Fragestellungen.