Data Engineering

Data Engineering schafft die technischen und organisatorischen Voraussetzungen für verlässliche Analysen und datenbasierte Anwendungen. Das Modul führt in das Fachgebiet und den vollständigen Data Engineering Lifecycle ein: Datenentstehung und Quellsysteme, Batch- und Streaming-Ingestion, Speicherung, Transformation, analytische Modellierung und Bereitstellung. Behandelt werden Dateien und APIs, operative relationale und nichtrelationale Systeme, einfache Datenkopie und Replikation, Data Warehouse, Data Lake und Lakehouse, ETL und ELT sowie Konsistenz, Datenqualität, Orchestrierung, Monitoring, Metadaten, Lineage, Governance, Sicherheit, Datenschutz und Kosten. Architekturvarianten werden anhand von Anforderungen und Zielkonflikten beurteilt. Die technische Vertiefung umfasst Entwurf, Code- und SQL-basierte Umsetzung, Prüfung und Betrieb eines begrenzten, reproduzierbaren Batch-Datenflusses. Verteilte und kontinuierliche Verarbeitung werden eingeordnet, aber nicht technisch vertieft.

Den Data-Engineering-Lifecycle mit seinen Phasen, Rollen und Querschnittsthemen anhand eines Anwendungsfalls erklären und Data Engineering gegenüber angrenzenden Fachgebieten abgrenzen.

Anforderungen an Quellen, Ingestion, Speicherung und Bereitstellung analysieren, für einen begrenzten analytischen Datenfluss geeignete Architekturvarianten hinsichtlich Nutzens, technischer Komplexität, Zuverlässigkeit, Betriebsaufwand, Änderbarkeit und Kosten vergleichen und eine Wahl begründen.

Einen begrenzten Batch-Datenfluss von einer Quelle bis zu einem einfachen analytischen Modell als ETL oder ELT implementieren und in einem vollständigen sowie einem einfachen inkrementellen Lauf reproduzierbar ausführen.

Den Datenfluss mit einem festen Eingabevertrag, Integritätsregeln, einem kleinen Satz automatisierter Daten- und Pipeline-Tests, einfacher Orchestrierung, strukturierter Protokollierung und einem Betriebssignal absichern, einen typischen Fehlerfall diagnostizieren und einen kontrollierten Wiederanlauf durchführen.

Die umgesetzte Datenlösung für einen bekannten Analysefall bereitstellen, hinsichtlich ausgewählter technischer und betrieblicher Zielkonflikte beurteilen und diskutieren sowie eine kompakte Übergabe mit Metadaten, Lineage, Ownership und grundlegenden Entscheidungen zu Sicherheit, Datenschutz und Governance dokumentieren.