Data Engineer

11/2023 – 12/2024

Im Rahmen dieses Projekts wurden Datenpipelines überwacht und optimiert, um eine stabile und reibungslose Ausführung sicherzustellen. Darüber hinaus wurde der Import von CSV- und Excel-Dateien standardisiert, um die Performance zu verbessern und den Code wartungsfreundlicher zu gestalten. Ein konfigurierbares Data Quality Framework wurde entwickelt, um semantische Fehler in den Daten zu erkennen und flexibel an verschiedene Pipelines anzupassen.

Durchgeführte Tätigkeiten:
Monitoring der Datenpipelines, Behebung von Fehlern bei Abbrüchen und Sicherstellung der Betriebsstabilität.
Standardisierung des Imports von CSV- und Excel-Dateien unter Verwendung des Python-Frameworks Polars zur Optimierung der Pipeline-Performance und Wartbarkeit.
Entwicklung und Implementierung eines Data Quality Frameworks, das semantische Fehler in den Daten erkennt und durch konfigurierbare SQL-Templates an die jeweiligen Test-Anforderungen angepasst werden kann.

Microsoft Azure, Data Vault, Kubernetes, Postgresql, Python, SQL

11/2023 – 12/2024

Im Rahmen dieses Projekts wurden Daten aus verschiedenen Quellen wie Excel, CSV, JSON, Datenbanken und APIs extrahiert und in ein Data Vault 2.0 Modell gespeichert. Zusätzlich wurden Information Marts eingerichtet, um einen schnellen und benutzerfreundlichen Zugriff auf die Daten zu ermöglichen.

Durchgeführte Tätigkeiten:
Analyse der Anforderungen und Anpassung der vorhandenen technischen Infrastruktur für die Datapipelines und Information Marts.
Integration der Datenquellen im Azure Datalake
Einrichtung der ETL-Prozesse unter Verwendung des vorhandenen Python Frameworks.
Laden der Daten in die Raw- und Business-Vaults des Data Vault 2.0 Modell.
Erstellung von Information Marts.
Konfiguration der Argo-jobs zur Orchestrierung und Automatisierung von Datapipelines.
Anbindung von Tableau zur Erstellung von interaktiven Dashboards und Berichten für die Datenvisualisierung.

Microsoft Azure, Data Vault, Data Warehousing, ETL, Kubernetes, Postgresql, Python, SQL, Tableau

7/2023 – 9/2023

Das Projekt umfasste die Entwicklung eines Web-Inventory-Systems auf Basis von Django, das es dem Kunden ermöglicht, effizient Web-Ressourcen zu verwalten. Es wurde eine Datenpipeline eingerichtet, um Websitedaten zu extrahieren, zu transformieren und in die Datenbank einzuspeisen. Die Lösung vereinfacht und beschleunigt das Management von Website-Assets im Tagesgeschäft der Agentur.

Durchgeführte Tätigkeiten:
Entwicklung eines Web-Inventory-Systems auf Django-Basis zur Verwaltung von Web-Ressourcen.
Einrichtung einer Datenpipeline unter Verwendung von Python und SQL und Orchestrierung der Extraktion, Transformation und Einspeisung von Websitedaten in die Datenbank mit Prefect.
Konfiguration einer SQL-Datenbank mit SQLite zur Speicherung der Webdaten.
Implementierung von Schnittstellen zur Interaktion mit der Datenbank über Django.
Testen und Optimieren der Systemleistung für eine reibungslose Funktionsweise.

Django, Python, SQL