Senior Data Engineer and Data Warehouse Consultant

11/2022 – 6/2024

Aufbau und Modernisierung der Unternehmenssoftware
- Konzeptionierung
- Auswahl und Aufbau der Infrastruktur ( On-Prem, Docker, AWS )
- Datenbank und -integrationssoftware Auswahl, Installation, Modellierung ( Postgres )
- Aufbau Frontends ( jam.py )
- Aufbau REST Schnittstellen ( Postgrest )
- Datenmigrationen ( Apache Hop )

Architektur (allg.), Datenbankentwicklung, Datenmodelierung, ETL, Infrastrukturarchitektur, Linux Einführung

11/2022 – 6/2023

Wartung einer Pentaho basierten DWH Umgebung

Data Warehousing, ETL, Mysql, Open Source, SQL

10/2022 – 5/2023

Migrate the sources of a Talend and Exasol based DWH Implementation from MapR to HDP. Implement new adapters to AWS S3
( Talend, Hadoop, Hive, HDFS, ETL, SQL, Data Migration )

Amazon Web Services (AWS), Big Data, ETL, Exasol, Python

5/2022 – 7/2022

Erstellung einer OpenSource Datenintegrations - Infrastruktur, basierend auf
* Apache Airflow bzw. Argo Workflows
* Apache Hop
* Kubernetes
Ermittlung eines Migrationsfahrplans von Pentaho PDI zu Apache Hop

Docker, ETL, Kubernetes, Linux Entwicklung

1/2022 – 9/2022

- Unterstützung bei der technischen Prozessgestaltung, Architektur
- Konzeptionierung und Implementierung eines Qualitätsframeworks
- Koordination von Tests und der Inbetriebnahme einer DWH Neuimplementierung auf Snowflake Basis

Confluence, Datenbankentwicklung, ETL, Informix, Projektmanagement (IT), Snowflake, SQL

3/2021 – 9/2021

Analyse Bestandssystem, Datenarchitektur Data Vault

Big Data, Data Vault, Datenanalyse, Datenmodelierung, SQL

6/2020 – 12/2021

- Analyse bestehendes Reportingsystem
- Konzeption / Architektur für ein neues DWH
- Datenmodellierung nach Kimball
- Implementierungsunterstützung Backend + Frontend

Datenanalyse, Datenmodelierung, ETL, Mariadb, Reporting

1/2020 – 5/2020

Evaluierung und PoC Implementierungen von/mit Hilfe Stream Processing Engines ( Apache Beam, Apache Spark, Apache Flink, Apache Nifi ) in Kombination mit Kafka und relationalen Datenbanken.

Postgresql, Apache Spark, Bash Shell, Docker, Python, Kubernetes

10/2019 – 10/2021

Neuaufbau einer zentralen Postgres basierten Datenplattform für Reporting und Schnittstellen. Erstellung des Datenmodells, Implementierung der Bewirtschaftung, Beschaffung der Infrastruktur. Erstellung von Reports

Git, Jenkins, Open Source, Postgresql, Python, Tableau

10/2019 – 11/2019

Reportingplattform "Postcontainer"

Implementierung von Docker Images für eine Reportingumgebung basierend auf Postgres und Grafana. Anbindung von Quellsystemen über DB2 + Oracle Postgres Foreign Data Wrappers.

Oracle-Anwendungen, Postgresql, Bash Shell, Docker, Git

10/2018 – 3/2019

K-Dashian

Erstellung von Real-Time Dashboards mit Grafana / Pentaho CDE auf Basis von Daten aus Kafka Topics.
Unterstützung bei der Umstellung des DWH von Oracle zu Postgres (Un-Oracle)

Digitale Kunst, Oracle Business Intelligence (BI), Open Source, Docker

1/2018 – 9/2019

- Aufbau einer BigData / hadoop Infrastruktur auf Basis von Hortonworks HDP mit den Komponenten Ambari, HBase ( NoSQL storage, HDFS ( file storage ), Kafka ( streaming engine ), zookeeper
- Aufbau einer eventbasierten Staging Platform für ein DWH mit Hilfe von Kafka und HBase
- Infrastruktur für die Personalisierung in einer großen Webanwendung mit Hilfe von Kafka und REST
- Aufbau einer SQL on anything Infrastruktur auf HDFS und HBase, z.b. für Webtracking Daten mit Hilfe von Apache Drill
- Implementierung von Datenintegrationen innerhalb der neuen Plattform. Evaluierung der Datenintegrations-Software ( Apache Nifi, Pentaho PDI, Python )
- Evaluierung der Architektur in der AWS Cloud
- Automatisierung des Infrastruktur Setups mit Ansible
- Definition eines Deployment - und Entwicklungsworkflow mit Git
- Aufsetzen einer Schedulung Plattform mit Jenkins
- Aufwandschätzungen & Projektplanung

Big Data, Open Source, ETL, Oracle-Anwendungen, SQL, Confluence, Software Architecture, Bash Shell, Git, Jenkins, Jira

8/2016 – 12/2017

Zwei parallele Projekte bei einem Kunden :

1) Planung und Implementierung einer Near-Realtime/Streaming Replikation aus einer Oracle Anwendung in eine Remote Datenbank mit Hilfe von Apache Kafka und Cassandra. Aufbau des Systems mit Containertechnologie ( Docker + Docker Swarm )

- Evaluierung der Softwarekomponenten.
- Datenmodelle für spaltenbasierte und NoSQL Datenbanken
- Coaching eines Implementierungs- und Betriebsteams
- Projektmarketing

2) Planung der Umstellung eines DWH von Oracle auf Postgres und Planung des Umbaus der Pentaho / PDI basierten ETL Strecken
- Datenmodelle
- Konzeption

Apache Hadoop, Big Data, Oracle Database, Docker

11/2015 – 12/2017

- Analyse des bestehenden DWH Systems
- Konzeption neues ETL Framework, Evaluierung von ETL Software
- Datenmodellierung für ein relationales, transaktionales Datenmodell in ExaSol. Aufbau einer eventbasierten Datenbewirtschaftung für das DWH
- Unterstützung DWH Operations

Technisches Umfeld : Linux, ExaSol, MySQL, Talend DataStudio, MapR

Big Data, Data Warehousing, ETL, Mysql, Software Architecture, Bash Shell, Perl, It-Beratung, Konzeption (IT)

10/2014 – 10/2015

Konzeption BI Umgebung
Evaluierung und PoC verschiedener ETL Tools ( SAS, IBM DataStage, Pentaho PDI )
Erarbeitung von DWH Lösungsszenarien
Modellierung eines DataStores nach Kimball mit Dimensionen und Fakten

Data Warehousing, ETL, IBM DB2, Software Architecture, It-Beratung

6/2013 – 5/2014

Aufbau eines neuen Data Warehouse inkl. Entwicklungs- und Betriebsumgebung.


-Datenmodellierung
-Implementierung ETL
-Altdatenmigration


Rolle im Projekt : Konzeption und Implementierung
Techn. Umgebung : InfiniDB, MySQL, Pentaho kettle/PDI, Jenkins

Open Source, Data Warehousing, Business Intelligence (BI), Mysql, ETL, SQL, Software Architecture, Linux Entwicklung, Subversion, Bash Shell

2/2012 – 5/2014

- Datenintegrationsprojekt für den Multimediakatalog
- Datenintegtation : Schnittstelle für einen SAP Feed
- Reporting : Auswertung von Jira Daten


Rolle im Projekt : Entwicklung, Beratung, Produktionseinführung
Techn. Umgebung : Oracle 11g, MS-SQL, Pentaho kettle/PDI, JIRA

Open Source, Oracle Database, Microsoft SQL-Server (MS SQL), ETL, Software Architecture, Subversion, Bash Shell

6/2011 – 8/2016

2014-2016
Performance und Skalierungsmassnahmen. Einführung einer spaltenorientierten Datenbank ( HP Vertica ). Aufbau eines automatischen Build Prozesses für das BI Portal
- Coaching / Training des Teams

Verschiedene Pentaho Erweiterungen

2011-2014
-Refactoring einer DWH Lösung bzgl. Design und Performance sowie Erweiterung des Systems.
-Kozeption und Implementierung der Mehrmandantenfähigkeit
-Coaching des internen Teams
-Erstellung eines Systens zur Fraud Prävention.
- Aufbau eines BI Portals
- Aufbau OLAP Cubes


Rolle im Projekt : Konzeption, Entwicklung, Beratung
Techn. Umgebung : Oracle 11g, HP Vertica, Pentaho BI Suite, Tomcat, Apache, Linux, Kafka, Zookeeper, Cassandra, Vagrant, Docker

Online Analytical Processing, Data Warehousing, Open Source, Oracle-Anwendungen, Apache Tomcat, It-Beratung, Schulung / Training (IT), Schulung / Coaching (allg.)

6/2011 – 7/2016

Entwicklungen von EAI Schnittstellenfunktionalitäten

Transact-Sql, Open Source, Oracle Database, ETL, Microsoft SQL-Server (MS SQL), Subversion, Bash Shell

3/2011 – 12/2011

BWH : Implementierung von ETL Funktionalitäten für ein Data Warehouse
Flex Area : Migration Oracle 9 nach Oracle 10 Exadata


Rolle im Projekt : Entwicklung
Techn. Umgebung : Oracle 11g, Microsoft SQL Server 2008, SSIS

Microsoft Business Intelligence, Transact-Sql, Data Warehousing, Oracle Database, Microsoft SQL-Server (MS SQL), ETL, SQL, PL/SQL, Linux Entwicklung, Bash Shell

1/2011 – 3/2011

Migration eines Reporting Systems von Oracle 9 auf Oracle 11g


Rolle im Projekt : Konzeption, Entwicklung, Beratung
Techn. Umgebung : Oracle 9+11, SUN Shell, PL/SQL

Oracle Database, UNIX

6/2010 – 12/2013

BI Portal
Entwicklung eines BI-Portals für eine Spedition basierend
auf der vorhandenen Branchensoftware


Rolle im Projekt : Konzeption, Entwicklung, Beratung
Techn. Umgebung : Oracle10, Linux, Pentaho BI Server, MySQL

Open Source, Online Analytical Processing, Data Warehousing, Oracle Database, Mysql, ETL, Linux Entwicklung, Bash Shell

1/2001 – 6/2010

Reporting BI : Adhoc Reporting im DWH, Betrieb von DWH Applikationen und QS.
Scorecards : Redesign und Implementierung eines Scorecard Prozesses. Design eines Datenmodell für den Datamart, Konzeption und Implementierunf der ETL Prozesse, QS und Inbetriebnahme
Reporting Framework : Entwicklung eines allgemeinen, auf UNIX Shellskripten basierten Frameworks unter der GPL zur Jobautomatisierung im Data Warehouseumfeld.
Relationale Grundlagen GK-Cube : Konzeption und Erstellung einer ETL-Bewirtschaftung eines Geschäftskundendatamarts auf Basis des Core-DWH.
SOX Teilnehmerprüfungen : Erstellung und monatlicher Betrieb eines SOX konformen Qualtitätssicherungsprozesses für die Teilnehmerabbildung in einem Data Warehouse..
Betrieb Data Warehouse : Betrieb, Konfiguration und Weiterentwicklung eines Data Warehouse. Erstellung von Adhoc Reports sowie Durchführung von Qualitätssicherungsmassnahmen.
Anbindung von SAS an das Data Warehouse : Konzeption und Implementierung einer über Datenbanktabellen konfigurierbaren Integration von SAS Prozessen in das Data Warehouse . Entwicklung einer triggerbasierten Steuerung der SAS Prozesse sowie einer Schnittstelle zum Lotus Notes Mailsystem zur Verteilung von Fehlermeldungen aus den SAS Prozessen.
Implementierung von Paketen für das DWH C-Release
Implementierung von Teilprojekten für das neue DWH : Kundenreports VB-Reports: Implementierung der Bewirtschaftungsfunktionen für Datamarts mit Oracle PL/SQL
DAMA: Implementierung von Funktionen für den Datenbankteil des Projekts DAMA. DAMA spiegelt die Aktivitäten des externen Call Centers wider und dient der Abrechnung.

Rolle im Projekt: Konzeption, Implementierung, Dokumentation und Betrieb
Techn. Umgebung::SUN E10K, UNIX ( Solaris ), Windows 2008, Oracle, Informix, Informatica
SSIS, SSRS, MS-SQL Server

Data Warehousing, Reporting, Oracle Database, ETL, SQL, Informix, UNIX, Solaris, Software Architecture, PL/SQL, Linux Entwicklung, Bash Shell