Senior Data Engineer

6/2023 – 12/2024

Als Senior Data Engineer beriet ich meinen Kunden, einen multinationalen Konzern, der Konsumgüter verkauft, bei der Verbesserung und
Weiterentwicklung ihrer Dateninfrastruktur.
● Integrierte Changemanagement-Workflows zur Verwaltung von Adobe Experience Platform-Objekten für CI/CD-Prozesse
● 85 % Zeitersparnis für bestehende Datenaufnahmepipelines in Databricks und pySpark erreicht
● Neu erstellte und erweiterte API-basierte Aufnahmen unter Verwendung von PySpark zur Verbesserung der Leistung, Reduzierung der Komplexität usw
Gewährleistung der Wartbarkeit
● Etablierte Best Practices durch die Einrichtung von GIT-Repositorys, der Data-Warehouse-Architektur und der Benennung
Konventionen einzuhalten und gleichzeitig automatisierte, aktuelle Datenerfassungsprozesse zu implementieren
● Entwicklung und Pflege von Power BI-Dashboards

API-Entwickler, Data Warehousing, Databricks, Git, Microsoft Azure, Power Bi, Python, SQL

1/2022 – 6/2023

Unabhängige Energie-IoT-Datenplattform für Solaranlagen zur Generierung von Erkenntnissen und Vorhersagen mit dem Ziel, die Langlebigkeit und Optimierung der Produktion sauberer Energie zu erhöhen
● Migration des Data Warehouse zu Snowflake und Einführung von Best Practices in der Datenmodellierung
● Einführung inkrementeller DBT-Aufnahmen und Bereitstellung in mehreren Umgebungen durch Airflow
● Implementierung der Datenverwaltung durch DBT-Tests innerhalb des Data Warehouse
● Implementierung automatischer Aufnahmen von 8 Datenquellen aus Flatfiles, APIs und Web-Apps

Data Warehousing, Power Bi, SQL, Python, Snowflake, Microsoft Azure

8/2019 – 12/2021

Beratungsunternehmen mit 15 Jahren Erfahrung in der Bereitstellung intelligenter Daten- und Analyselösungen
● Erfolgreiche Bereitstellung innovativer und technischer BI-Lösungen für mehrere Kunden
● Implementierung inkrementeller und initialer Ladeprozesse (ETL) in Cloud- und On-Premise-Lösungen.
● Koordination mit Stakeholdern zur Erfassung funktionaler Anforderungen für Dashboards

Data Warehousing, SQL, Git, Python, Data Engineer, Microsoft Azure