Data Engineer/Analyst, Softwareentwickler
- Verfügbarkeit einsehen
- 0 Referenzen
- auf Anfrage
- 45879 Gelsenkirchen
- Weltweit
- en | fr | de
- 16.01.2025
Kurzvorstellung
Qualifikationen
Projekt‐ & Berufserfahrung
8/2024 – offen
Tätigkeitsbeschreibung
Das Projekt zielt darauf ab, durch die Analyse und Entwicklung von Daten Use Cases die Transparenz und
Steuerung der IT-Abteilung eines großen Energieversorgers zu verbessern. Dabei werden komplexe
Datenlösungen entwickelt und mit Best Practices in Cloud-Datenplattformen wie Azure Data Lake und
Azure Synapse Analytics umgesetzt. Zudem werden aus strukturierten und unstrukturierten Daten
attraktive Produkte für verschiedene Konsumenten bereitgestellt.
Meine Aufgaben umfassten:
▪ Aufnahme, Analyse und fachliche Entwicklung verschiedener Daten Use Cases für die datengetriebene
Transparenz und Steuerung der IT-Abteilung
▪ Entwicklung, Implementierung und Support komplexer Datenintegrations und
Datenaufbereitungslösungen
▪ Entwicklung von attraktive Daten-Produkte aus (un-)strukturierten Daten und Bereitstellung für
verschiedene Konsumenten (z.B. als Dataset, API oder Report)
▪ Enge Zusammenarbeit mit dem BI-Team und anderen Abteilungen zur Erfassung der
Datenanforderungen und zur Sicherstellung der Datenverfügbarkeit
Azure Synapse Analytics, ETL, Microsoft Azure, Power Bi, Python
7/2022 – 4/2024
Tätigkeitsbeschreibung
Das Ziel dieses Projekts war die Analyse und Optimierung der bestehenden Datenpipelines, die
ursprünglich als Dataflows programmiert wurden, mit dem Ziel, diese in Notebooks umzuwandeln. Dies
sollte die Flexibilität für zukünftige Datenmigrationsprozesse erhöhen. Zusätzlich umfasst das Projekt die
Entwicklung, Implementierung und Wartung von ETL-Prozessen zur Integration von Daten aus
verschiedenen Quellsystemen in die BI-Plattform.
Meine Aufgaben umfassten:
▪ Analyse und Optimierung der Datenpipelines zur Gewährleistung einer effizienten Datenverarbeitung
und Speicherung
▪ Datenintegration und -management: Entwicklung, Implementierung und Wartung von ETL-Prozessen
zur Übertragung von Daten aus unserem Vergleichsportal und anderen Quellsystemen in unsere BIPlattform
▪ Design und Optimierung von Datenmodellen zur Unterstützung der Datenanalyse und des Reporting
▪ Erstellung von technischen Dokumentationen und Schulung anderer Teammitglieder in Bezug auf
Datenprozesse und -tools
Azure Synapse Analytics, Data Mining, Data Warehousing, ETL, Git
4/2021 – 7/2023
Tätigkeitsbeschreibung
Ziel des Projekts waren der Aufbau und die Dokumentation von Datenpipelines (ETL-Prozesse, DataOps)
auf einer Integration Platform as a Service (iPaaS) zur Unterstützung von Geschäftsanforderungen. Die
benötigten Daten wurden in verschiedene Datenquellen zur Visualisierung mit BI-Tools und zur
Verarbeitung geladen.
Meine Aufgaben umfassten:
▪ Erstellung und Pflege von Datenmodellen, Datenautomatisierungssystemen, Dashboards und
Leistungsmetriken
▪ Optimierung von Datenflüssen zur Sicherstellung einer hohen Datenqualität und –konsistenz in
elastic.io
▪ Entwicklung, Erweiterung und Implementierung neuer iPaaS-Konnektoren für verschiedene ETLProzesse
▪ Untersuchung der Beziehung zwischen der iPaaS-Plattform elastic.io und dem Object Storage Service
(OBS) in der Cloud des Kunden
▪ Überprüfung des Codes von eingereichten Änderungen und Bewertung der Auswirkungen
Power Bi, JavaScript, ETL, Json, Mariadb, Mysql, Postgresql
2/2019 – 12/2020
Tätigkeitsbeschreibung
Ziel des Projekts war es, die Konsistenz und Genauigkeit der Daten durch Datenvalidierung und
Datenbereinigung sicherzustellen. Darüber hinaus wurden komplexe Berichte erstellt und die rechtzeitige
Bereitstellung dieser Berichte überwacht.
Meine Aufgaben umfassten:
▪ Zusammenarbeit mit Dateningenieuren, um die Methoden der Datenerfassung zu verbessern.
▪ Sammlung von Daten aus verschiedenen Quellen mit Python, PostgreSQL und Microsoft SQL Server
▪ Fehleranalyse bei der Datenmigration und Maßnahmen zur Behebung.
▪ Entwicklung industrieller Desktop-Anwendungen für Service-Team.
▪ Erstellung und Weiterentwicklung von Reports
Amazon Web Services (AWS), Big Data, Data Mining, Data Warehousing, ETL, Mariadb, Microsoft Excel, Mysql, Postgresql, Python
Zertifikate
Microsoft
Microsoft
Databricks
Coursera
Coursera
Coursera
Coursera
Ausbildung
Duisburg-Essen Universität
Duisburg
Über mich
Persönliche Daten
- Englisch (Muttersprache)
- Französisch (Muttersprache)
- Deutsch (Fließend)
- Europäische Union
- Vereinigte Staaten von Amerika
Kontaktdaten
Nur registrierte PREMIUM-Mitglieder von freelance.de können Kontaktdaten einsehen.
Jetzt Mitglied werden