Senior Data Engineering Consultant

1/2022 – 12/2023

Design & Konzeption eines Cloud Data Lakehouse im eCommerce-Kontext mittels Databricks
Requirements Engineering & Dokumentation der Use-Cases
Modellierung der Layerarchitektur
Einführung Data Quality Framework
Modellierung des Core-Layers für Logistik-& Salesanalysen basierend auf Kimball
Integration von verschiedenen Quellsystemen wie MySQL, APIs, Event Streams, SAP S4/HANA, Postgres, MSSQL
Einführung von Self-Service Data Marts im Sales- und Marketingkontext
Entwicklung eines generischen Connector-Frameworks zur schnellen und effizienten Integration von neuen Datenquellen
Migration von Hive Catalog auf Unity Catalog

Azure Databricks, Kafka, mySQL, PostgreSQL, SQL, SAP S/4HANA, Shopify (allg.), Git, Python, Amazon Web Services (AWS)

1/2021 – 6/2024

Aufbau eines Cloud Data Lakehouse auf Databricks
Konzeptionalisierung & Requirements Engineering inkl. User Stories, Milestones, uvm. nach SCRUM
Anbindung von Quelldatensystemen wie SalesForce, Teradata, MSSQL und SAP (S/4 HANA & SAP C4C)
Konzeption & Implementierung der Lakehouse Layerstruktur mit Domain Driven Design Pattern
Konzeption & Implementierung eines Data Quality & Data Testing Frameworks unter Berücksichtigung von verschiedenen Datenqualitätsdimensionen sowie der Validierung von Soft- und Hard Rules
Implementierung von Datentransformationspipelines über 100 GB pro Tag
Einsatz nativer Azure Cloud Services wie bspw. Azure Databricks, Azure Data Factory & Azure Event Hubs
Modellierung & Implementierung eines Business Core Data Models (Data Vault)
Identifikation & Implementierung von Machine Learning Use-Cases unter Berücksichtigung von MLOps basierend auf MLflow
Konzeption und Implementierung von GenAI Usecases:
SentenceTransformer (sBert & DistilUse) und Large Language Models (Llama2) zur Deduplication von Adressen mit dem Ziel der Erstellung eines Golden Records mittels Vector Store (FAISS und Milvus)
Computer Vision und Identifikation von Attributen zur Auswertung von Facilities mittels Satellitendaten

Azure Databricks, Azure Synapse Analytics, SQL, Teradata, Salesforce, SAP S/4HANA, Python, Microsoft Azure

1/2018 – 12/2020

Migration SAS Data Platform auf Cloud Based Open Source Architektur auf Python inklusive Apache Spark, SQL, Pandas, Numpy, Rapids
Requirements Engineering & Dokumentation der bestehenden (Real-Time) Reporting Use Cases und Core Data Warehouse Layer
Aufbau und Implementierung Multi-Node Apache Airflow System zur Workflow Orchestrierung für ETL & Machine Learning Jobs
Migration der SAS-Lösungen auf hochperformante Python Skripte
Entwicklung eines generischen Connector-Frameworks zur schnellen und effizienten Integration von neuen Datenquellen inkl SAP HANA und Teradata

Apache Spark, SAS (Software), SQL, Teradata, SAP HANA