Senior Data Engineer | Datenbankmigration
- Verfügbarkeit einsehen
- 2 Referenzen
- auf Anfrage
- 1303 København K
- Nähe des Wohnortes
- de | en | da
- 20.12.2024
Kurzvorstellung
Auszug Referenzen (2)
"H. hat unser Dataservice Team über einen langen Zeitraum beim Aufbau, Wartung und Weiterentwicklung unserer Datenversorgung wertvoll unterstützt."
2/2015 – 12/2019
TätigkeitsbeschreibungMeine Tätigkeit umfasste die technische Unterstützung des ETL-Teams eines großen deutschen E-Commerce-Anbieters für Elektronikartikel; die ETL-Infrastruktur bestand aus 300 bis 400 ETL-Jobs. Dabei war ich zum einen für die Erstellung, Änderung und Optimierung von ETL-Jobs mittels Talend Studio DI und zum anderen bei der Planung der ETL-Prozesse und der Priorisierung der Aufgaben für ein Team bis zu 5 Mitarbeitern zuständig. In den 5 Jahren im Projekt wurden drei verschiedene Talend-Versionen (5.3.1, 6.2.1, 7.0.1) benutzt. Beim Upgrade der Talend Studio-Versionen inkl. der dazugehörigen Infrastrukturkomponenten (Talend Administration Center, Nexus, git/SVN) übernahm ich die technische Koordination der notwendigen Schritte in Abstimmung mit internen und externen Mitarbeitern. Zur Zusammenführung der Daten aus verschiedenen Quellsystemen wurde eine zentrale Datenbank mit einer Größe von circa 2 TB benutzt; bis 2017 war diese eine Oracle Datenbank in der Version 11g R2, danach erfolgte unter meiner Koordination die Migration der Datenbank auf PostgreSQL 9.6 und die Überführung der ETL-Infrastruktur in die Cloud (Google Cloud Platform unter Benutzung von "Cloud SQL" für die Datenbank und VMs für die Infrastrukturkomponenten).
Eingesetzte QualifikationenETL, Oracle Database, Postgresql, Projektmanagement (IT), Google Cloud, Systemmigration
"H. verfügt über sehr gut fundiertes Fachwissen u. a. in den Bereichen Datenbanken, ETL, Migration und Projektmanagement. Professionelles Auftreten."
2/2009 – 12/2014
TätigkeitsbeschreibungMeine Aufgabe war die Projektkoordination und Umsetzung von ca. 80 Geodaten-Migrationen für Versorgungsnetzwerke (Abwasser, Strom, Gas) für einen schweizer GIS-Anbieter, der die GIS-Aufgaben für ungefähr 50 schweizer Gemeinden/Orte wahrnimmt. Die Migrationen erfolgten von der Oracle Datenbank 9 auf Oracle Datenbank 11g R2. Zusätzlich führte ich verschiedene Anpassungsprogrammierungen für Autodesk Topobase mittels VB.NET für den Kunden durch.
Eingesetzte QualifikationenOracle Database, C#, Visual Basic, Systemmigration
Qualifikationen
Projekt‐ & Berufserfahrung
8/2021 – offen
TätigkeitsbeschreibungMit einem Projektteam eines Projektdienstleisters bin ich für einen großen internationalen Konzern tätig. Meine Projektaufgabe in der ersten Phase des Projekts war die Implementierung von komplexen KPI-Berechnungen mittels Pandas und Jupyter Notebooks. Das Ziel war zu entscheiden, ob die bestehende Infrastruktur für die KPI-Berechnungen durch eine modernere Infrastruktur mit Einsatz von AWS und Snowflake abgelöst werden kann. In der nachfolgenden Projektphase konzentrierten wir uns auf die PoC-Implementierung der Datenpipelines für einen KPI mit AWS, Snowflake und AWS Glue. Die jetzige Projektphase umfasst die Produktivimplementierung der Datenpipelines für das gesamte Produkt.
Eingesetzte QualifikationenAmazon Web Services (AWS), Apache Spark, Business Intelligence (BI), Pandas, Python, Snowflake
5/2021 – 8/2021
TätigkeitsbeschreibungMit einem Projektteam eines Projektdienstleisters war ich für einen großen internationalen Konzern tätig. Meine Projektaufgabe war die Erstellung von Datenbankabfragen für den Data Lake in Snowflake. Zusätzlich erarbeitete ich die technischen Anforderungen in Abstimmung mit dem Frontend- und dem Business-Team.
Eingesetzte QualifikationenDatenanalyse, Snowflake
1/2021 – 4/2021
TätigkeitsbeschreibungMit einem Projektteam eines Projektdienstleisters war ich für einen großen internationalen Konzern tätig. Meine Projektaufgabe war die datenbankseitige Unterstützung für Oracle DB 12.2 zur Überprüfung, ob eine Replikation von ERP-Daten über eine Oracle-Datenbank in AWS RDS (Amazon Web Services - Relational Database Service) nach Snowflake realisiert werden kann. Das zu überprüfende Replikationsvolumen beträgt ungefähr eine Milliarde Transaktionen pro Tag für einen Quelldatenbestand von 50+ ERP-Datenbanken mit einer Größe von ca. 42 TB.
Eingesetzte QualifikationenAmazon Web Services (AWS), Data Warehousing, Datenbankentwicklung, Oracle Database
4/2020 – offen
TätigkeitsbeschreibungDas Unternehmen ist ein Anbieter von Ladelösungen und -infrastruktur für elektrische Fahrzeuge mit Sitz in Berlin, Deutschland. Meine ursprüngliche Projektaufgabe war die Erstellung eines neuen Data Warehouse unter Nutzung von Cloud-Technologien, um eine aggregierte und einheitliche Sicht auf die Daten aus verschiedenen Quellsysteme zu ermöglichen. Die jetzigen Tätigkeit umfasst den Betrieb und die Erweiterung des Data Warehouse. Die Umsetzung erfolgt unter Nutzung von Google Cloud BigQuery als Data Warehouse-Lösung, Terraform zur Erstellung von Infrastructure-As-Code, des ELT-Ansatzes mit DataVault-Modellierung zur Beladung des Data Warehouse und Tableau als Visualisierungstool. Die Extraktion der Quelldaten von ca. 10 GB erfolgte vorrangig aus MariaDB und MongoDB. Im Projekt ist es meine Aufgabe, den gesamten Prozess für die Erstellung der Data Warehouse-Infrastruktur und Beladungsprozesse zu planen, zu betreiben und umzusetzen. Unterstützt werde ich von inhaltlicher Seite von ProductOwnern und Mitarbeitern des BusinessIntelligence-Teams.
Eingesetzte QualifikationenData Warehousing, ETL, Google Cloud, Iaas, Jira, Mariadb, Mongodb
2/2015 – 12/2019
TätigkeitsbeschreibungMeine Tätigkeit umfasste die technische Unterstützung des ETL-Teams eines großen deutschen E-Commerce-Anbieters für Elektronikartikel; die ETL-Infrastruktur bestand aus 300 bis 400 ETL-Jobs. Dabei war ich zum einen für die Erstellung, Änderung und Optimierung von ETL-Jobs mittels Talend Studio DI und zum anderen bei der Planung der ETL-Prozesse und der Priorisierung der Aufgaben für ein Team bis zu 5 Mitarbeitern zuständig. In den 5 Jahren im Projekt wurden drei verschiedene Talend-Versionen (5.3.1, 6.2.1, 7.0.1) benutzt. Beim Upgrade der Talend Studio-Versionen inkl. der dazugehörigen Infrastrukturkomponenten (Talend Administration Center, Nexus, git/SVN) übernahm ich die technische Koordination der notwendigen Schritte in Abstimmung mit internen und externen Mitarbeitern. Zur Zusammenführung der Daten aus verschiedenen Quellsystemen wurde eine zentrale Datenbank mit einer Größe von circa 2 TB benutzt; bis 2017 war diese eine Oracle Datenbank in der Version 11g R2, danach erfolgte unter meiner Koordination die Migration der Datenbank auf PostgreSQL 9.6 und die Überführung der ETL-Infrastruktur in die Cloud (Google Cloud Platform unter Benutzung von "Cloud SQL" für die Datenbank und VMs für die Infrastrukturkomponenten).
Eingesetzte QualifikationenETL, Oracle Database, Postgresql, Projektmanagement (IT), Google Cloud, Systemmigration
2/2009 – 12/2014
TätigkeitsbeschreibungMeine Aufgabe war die Projektkoordination und Umsetzung von ca. 80 Geodaten-Migrationen für Versorgungsnetzwerke (Abwasser, Strom, Gas) für einen schweizer GIS-Anbieter, der die GIS-Aufgaben für ungefähr 50 schweizer Gemeinden/Orte wahrnimmt. Die Migrationen erfolgten von der Oracle Datenbank 9 auf Oracle Datenbank 11g R2. Zusätzlich führte ich verschiedene Anpassungsprogrammierungen für Autodesk Topobase mittels VB.NET für den Kunden durch.
Eingesetzte QualifikationenOracle Database, C#, Visual Basic, Systemmigration
Zertifikate
Ausbildung
Dresden
Meißen
Über mich
- täglicher Remote-Einsatz
Weitere Kenntnisse
- Durchführung von Entwicklungsaufgaben im Bereich Data Warehouse (DWH), ETL und Big Data mit Geodaten-Erfahrung
- Ablösung/Migration von relationalen Datenbanken (insb. Oracle und PostgreSQL)
- Unterstützung bei der Überführung Ihrer Datenbank in die Cloud (AWS, GCP)
- Projektmanagementunterstützung
- Datenbank-Performance-Optimierung
Datenbanken:
- BigQuery
- Oracle-Database
- PostgreSQL
- MariaDB
- MySQL
- MongoDB
Cloud:
- Amazon Web Services (AWS)
- Google Cloud Platform (GCP)
Tools:
- Bash
- Data Vault
- Docker
- git
- Linux
- Python
- Talend Studio
- Terraform
Persönliche Daten
- Deutsch (Muttersprache)
- Englisch (Fließend)
- Dänisch (Gut)
- Europäische Union
Kontaktdaten
Nur registrierte PREMIUM-Mitglieder von freelance.de können Kontaktdaten einsehen.
Jetzt Mitglied werden