Senior Data Engineer and Data Warehouse Consultant
- Verfügbarkeit einsehen
- 0 Referenzen
- auf Anfrage
- 53819 Neunkirchen-Seelscheid
- National
- de | en | fr
- 05.09.2024
Kurzvorstellung
- Design and model database systems, especially for reporting, Data Warehouse and BI
- concept and development ("Data Engineering") of ETL/ETL processe with a broad variety of tools
- training and coaching
- system analysis
Qualifikationen
Projekt‐ & Berufserfahrung
11/2023 – 4/2024
TätigkeitsbeschreibungAufbau eines Prototypen zur Abholung von Daten aus Social Media Plattformen, Integration in Reporting
Eingesetzte QualifikationenDatawarehouse / DWH, ETL
11/2023 – offen
TätigkeitsbeschreibungErstellung einer Architektur für ein neues Cloud basiertes DWH
Eingesetzte QualifikationenDatawarehouse / DWH, Datenbankentwicklung, ETL, Enterprise Architect (EA), Cloud (allg.), Infrastrukturarchitektur
7/2023 – 10/2023
Tätigkeitsbeschreibung
Implementierungen von ETL Strecken in Databricks mit PySpark und SQL.
Anpassungen in Tableau Reports und Analyse von Quelldaten.
Apache Spark, Azure Databricks, Python, SQL
11/2022 – 6/2024
Tätigkeitsbeschreibung
Aufbau und Modernisierung der Unternehmenssoftware
- Konzeptionierung
- Auswahl und Aufbau der Infrastruktur ( On-Prem, Docker, AWS )
- Datenbank und -integrationssoftware Auswahl, Installation, Modellierung ( Postgres )
- Aufbau Frontends ( jam.py )
- Aufbau REST Schnittstellen ( Postgrest )
- Datenmigrationen ( Apache Hop )
Architektur (allg.), Datenbankentwicklung, Datenmodellierung, ETL, Infrastrukturarchitektur, Linux Einführung
11/2022 – 6/2023
TätigkeitsbeschreibungWartung einer Pentaho basierten DWH Umgebung
Eingesetzte QualifikationenDatawarehouse / DWH, ETL, mySQL, Pentaho Open-Source-BI-Suite, SQL
10/2022 – 5/2023
Tätigkeitsbeschreibung
Migrate the sources of a Talend and Exasol based DWH Implementation from MapR to HDP. Implement new adapters to AWS S3
( Talend, Hadoop, Hive, HDFS, ETL, SQL, Data Migration )
Amazon Web Services (AWS), Big Data, ETL, Exasol, Python
5/2022 – 7/2022
Tätigkeitsbeschreibung
Erstellung einer OpenSource Datenintegrations - Infrastruktur, basierend auf
* Apache Airflow bzw. Argo Workflows
* Apache Hop
* Kubernetes
Ermittlung eines Migrationsfahrplans von Pentaho PDI zu Apache Hop
Docker, ETL, Kubernetes, Linux Entwicklung
1/2022 – 9/2022
Tätigkeitsbeschreibung
- Unterstützung bei der technischen Prozessgestaltung, Architektur
- Konzeptionierung und Implementierung eines Qualitätsframeworks
- Koordination von Tests und der Inbetriebnahme einer DWH Neuimplementierung auf Snowflake Basis
Confluence (Atlassian), Datenbankentwicklung, ETL, Informix, Projektmanagement (IT), snowflake, SQL
3/2021 – 9/2021
TätigkeitsbeschreibungAnalyse Bestandssystem, Datenarchitektur Data Vault
Eingesetzte QualifikationenBig Data, Data Vault, Datenanalyse, Datenmodellierung, SQL
6/2020 – 12/2021
Tätigkeitsbeschreibung
- Analyse bestehendes Reportingsystem
- Konzeption / Architektur für ein neues DWH
- Datenmodellierung nach Kimball
- Implementierungsunterstützung Backend + Frontend
Datenanalyse, Datenmodellierung, ETL, MariaDB, Reporting
1/2020 – 5/2020
TätigkeitsbeschreibungEvaluierung und PoC Implementierungen von/mit Hilfe Stream Processing Engines ( Apache Beam, Apache Spark, Apache Flink, Apache Nifi ) in Kombination mit Kafka und relationalen Datenbanken.
Eingesetzte QualifikationenPostgreSQL, Apache Spark, Bash (Shell), Docker, Python, Kubernetes
10/2019 – 10/2021
TätigkeitsbeschreibungNeuaufbau einer zentralen Postgres basierten Datenplattform für Reporting und Schnittstellen. Erstellung des Datenmodells, Implementierung der Bewirtschaftung, Beschaffung der Infrastruktur. Erstellung von Reports
Eingesetzte QualifikationenGit, Jenkins, Pentaho Open-Source-BI-Suite, PostgreSQL, Python, Tableau
10/2019 – 11/2019
Tätigkeitsbeschreibung
Reportingplattform "Postcontainer"
Implementierung von Docker Images für eine Reportingumgebung basierend auf Postgres und Grafana. Anbindung von Quellsystemen über DB2 + Oracle Postgres Foreign Data Wrappers.
Oracle (allg.), PostgreSQL, Bash (Shell), Docker, Git
10/2018 – 3/2019
Tätigkeitsbeschreibung
K-Dashian
Erstellung von Real-Time Dashboards mit Grafana / Pentaho CDE auf Basis von Daten aus Kafka Topics.
Unterstützung bei der Umstellung des DWH von Oracle zu Postgres (Un-Oracle)
Digitale Kunst, Oracle Business Intelligence (BI), Pentaho Open-Source-BI-Suite, Docker
1/2018 – 9/2019
Tätigkeitsbeschreibung
- Aufbau einer BigData / hadoop Infrastruktur auf Basis von Hortonworks HDP mit den Komponenten Ambari, HBase ( NoSQL storage, HDFS ( file storage ), Kafka ( streaming engine ), zookeeper
- Aufbau einer eventbasierten Staging Platform für ein DWH mit Hilfe von Kafka und HBase
- Infrastruktur für die Personalisierung in einer großen Webanwendung mit Hilfe von Kafka und REST
- Aufbau einer SQL on anything Infrastruktur auf HDFS und HBase, z.b. für Webtracking Daten mit Hilfe von Apache Drill
- Implementierung von Datenintegrationen innerhalb der neuen Plattform. Evaluierung der Datenintegrations-Software ( Apache Nifi, Pentaho PDI, Python )
- Evaluierung der Architektur in der AWS Cloud
- Automatisierung des Infrastruktur Setups mit Ansible
- Definition eines Deployment - und Entwicklungsworkflow mit Git
- Aufsetzen einer Schedulung Plattform mit Jenkins
- Aufwandschätzungen & Projektplanung
Big Data, Pentaho Open-Source-BI-Suite, ETL, Oracle (allg.), SQL, Confluence (Atlassian), Software Architektur / Modellierung, Bash (Shell), Git, Jenkins, Jira
8/2016 – 12/2017
Tätigkeitsbeschreibung
Zwei parallele Projekte bei einem Kunden :
1) Planung und Implementierung einer Near-Realtime/Streaming Replikation aus einer Oracle Anwendung in eine Remote Datenbank mit Hilfe von Apache Kafka und Cassandra. Aufbau des Systems mit Containertechnologie ( Docker + Docker Swarm )
- Evaluierung der Softwarekomponenten.
- Datenmodelle für spaltenbasierte und NoSQL Datenbanken
- Coaching eines Implementierungs- und Betriebsteams
- Projektmarketing
2) Planung der Umstellung eines DWH von Oracle auf Postgres und Planung des Umbaus der Pentaho / PDI basierten ETL Strecken
- Datenmodelle
- Konzeption
Apache Hadoop, Big Data, Oracle Database, Docker
11/2015 – 12/2017
Tätigkeitsbeschreibung
- Analyse des bestehenden DWH Systems
- Konzeption neues ETL Framework, Evaluierung von ETL Software
- Datenmodellierung für ein relationales, transaktionales Datenmodell in ExaSol. Aufbau einer eventbasierten Datenbewirtschaftung für das DWH
- Unterstützung DWH Operations
Technisches Umfeld : Linux, ExaSol, MySQL, Talend DataStudio, MapR
Big Data, Datawarehouse / DWH, ETL, mySQL, Software Architektur / Modellierung, Bash (Shell), Perl, IT-Beratung (allg.), Konzeption (IT)
10/2014 – 10/2015
Tätigkeitsbeschreibung
Konzeption BI Umgebung
Evaluierung und PoC verschiedener ETL Tools ( SAS, IBM DataStage, Pentaho PDI )
Erarbeitung von DWH Lösungsszenarien
Modellierung eines DataStores nach Kimball mit Dimensionen und Fakten
Datawarehouse / DWH, ETL, DB2, Software Architektur / Modellierung, IT-Beratung (allg.)
6/2013 – 5/2014
Tätigkeitsbeschreibung
Aufbau eines neuen Data Warehouse inkl. Entwicklungs- und Betriebsumgebung.
-Datenmodellierung
-Implementierung ETL
-Altdatenmigration
Rolle im Projekt : Konzeption und Implementierung
Techn. Umgebung : InfiniDB, MySQL, Pentaho kettle/PDI, Jenkins
Pentaho Open-Source-BI-Suite, Datawarehouse / DWH, Business Intelligence (BI), mySQL, ETL, SQL, Software Architektur / Modellierung, Linux Entwicklung, Apache Subversion (SVN), Bash (Shell)
2/2012 – 5/2014
Tätigkeitsbeschreibung
- Datenintegrationsprojekt für den Multimediakatalog
- Datenintegtation : Schnittstelle für einen SAP Feed
- Reporting : Auswertung von Jira Daten
Rolle im Projekt : Entwicklung, Beratung, Produktionseinführung
Techn. Umgebung : Oracle 11g, MS-SQL, Pentaho kettle/PDI, JIRA
Pentaho Open-Source-BI-Suite, Oracle Database, Microsoft SQL-Server (MS SQL), ETL, Software Architektur / Modellierung, Apache Subversion (SVN), Bash (Shell)
6/2011 – 8/2016
Tätigkeitsbeschreibung
2014-2016
Performance und Skalierungsmassnahmen. Einführung einer spaltenorientierten Datenbank ( HP Vertica ). Aufbau eines automatischen Build Prozesses für das BI Portal
- Coaching / Training des Teams
Verschiedene Pentaho Erweiterungen
2011-2014
-Refactoring einer DWH Lösung bzgl. Design und Performance sowie Erweiterung des Systems.
-Kozeption und Implementierung der Mehrmandantenfähigkeit
-Coaching des internen Teams
-Erstellung eines Systens zur Fraud Prävention.
- Aufbau eines BI Portals
- Aufbau OLAP Cubes
Rolle im Projekt : Konzeption, Entwicklung, Beratung
Techn. Umgebung : Oracle 11g, HP Vertica, Pentaho BI Suite, Tomcat, Apache, Linux, Kafka, Zookeeper, Cassandra, Vagrant, Docker
Online Analytical Processing (OLAP), Datawarehouse / DWH, Pentaho Open-Source-BI-Suite, Oracle (allg.), Apache Tomcat, IT-Beratung (allg.), Schulung / Training (IT), Schulung / Coaching (allg.)
6/2011 – 7/2016
TätigkeitsbeschreibungEntwicklungen von EAI Schnittstellenfunktionalitäten
Eingesetzte QualifikationenTransact-SQL (T-SQL), Pentaho Open-Source-BI-Suite, Oracle Database, ETL, Microsoft SQL-Server (MS SQL), Apache Subversion (SVN), Bash (Shell)
3/2011 – 12/2011
Tätigkeitsbeschreibung
BWH : Implementierung von ETL Funktionalitäten für ein Data Warehouse
Flex Area : Migration Oracle 9 nach Oracle 10 Exadata
Rolle im Projekt : Entwicklung
Techn. Umgebung : Oracle 11g, Microsoft SQL Server 2008, SSIS
Microsoft Business Intelligence (BI), Transact-SQL (T-SQL), Datawarehouse / DWH, Oracle Database, Microsoft SQL-Server (MS SQL), ETL, SQL, PL/SQL, Linux Entwicklung, Bash (Shell)
1/2011 – 3/2011
Tätigkeitsbeschreibung
Migration eines Reporting Systems von Oracle 9 auf Oracle 11g
Rolle im Projekt : Konzeption, Entwicklung, Beratung
Techn. Umgebung : Oracle 9+11, SUN Shell, PL/SQL
Oracle Database, UNIX
6/2010 – 12/2013
Tätigkeitsbeschreibung
BI Portal
Entwicklung eines BI-Portals für eine Spedition basierend
auf der vorhandenen Branchensoftware
Rolle im Projekt : Konzeption, Entwicklung, Beratung
Techn. Umgebung : Oracle10, Linux, Pentaho BI Server, MySQL
Pentaho Open-Source-BI-Suite, Online Analytical Processing (OLAP), Datawarehouse / DWH, Oracle Database, mySQL, ETL, Linux Entwicklung, Bash (Shell)
1/2001 – 6/2010
Tätigkeitsbeschreibung
Reporting BI : Adhoc Reporting im DWH, Betrieb von DWH Applikationen und QS.
Scorecards : Redesign und Implementierung eines Scorecard Prozesses. Design eines Datenmodell für den Datamart, Konzeption und Implementierunf der ETL Prozesse, QS und Inbetriebnahme
Reporting Framework : Entwicklung eines allgemeinen, auf UNIX Shellskripten basierten Frameworks unter der GPL zur Jobautomatisierung im Data Warehouseumfeld.
Relationale Grundlagen GK-Cube : Konzeption und Erstellung einer ETL-Bewirtschaftung eines Geschäftskundendatamarts auf Basis des Core-DWH.
SOX Teilnehmerprüfungen : Erstellung und monatlicher Betrieb eines SOX konformen Qualtitätssicherungsprozesses für die Teilnehmerabbildung in einem Data Warehouse..
Betrieb Data Warehouse : Betrieb, Konfiguration und Weiterentwicklung eines Data Warehouse. Erstellung von Adhoc Reports sowie Durchführung von Qualitätssicherungsmassnahmen.
Anbindung von SAS an das Data Warehouse : Konzeption und Implementierung einer über Datenbanktabellen konfigurierbaren Integration von SAS Prozessen in das Data Warehouse . Entwicklung einer triggerbasierten Steuerung der SAS Prozesse sowie einer Schnittstelle zum Lotus Notes Mailsystem zur Verteilung von Fehlermeldungen aus den SAS Prozessen.
Implementierung von Paketen für das DWH C-Release
Implementierung von Teilprojekten für das neue DWH : Kundenreports VB-Reports: Implementierung der Bewirtschaftungsfunktionen für Datamarts mit Oracle PL/SQL
DAMA: Implementierung von Funktionen für den Datenbankteil des Projekts DAMA. DAMA spiegelt die Aktivitäten des externen Call Centers wider und dient der Abrechnung.
Rolle im Projekt: Konzeption, Implementierung, Dokumentation und Betrieb
Techn. Umgebung::SUN E10K, UNIX ( Solaris ), Windows 2008, Oracle, Informix, Informatica
SSIS, SSRS, MS-SQL Server
Datawarehouse / DWH, Reporting, Oracle Database, ETL, SQL, Informix, UNIX, Oracle Solaris (SunOS), Software Architektur / Modellierung, PL/SQL, Linux Entwicklung, Bash (Shell)
Ausbildung
Aachen
Über mich
Weitere Kenntnisse
- ETL/ELT, Orchestration conception and development
- database modeling with different approaches : Starschema, Snowflake, 3NF, EDW, Kimball, Data Vault
- OLAP / Cube / multidimensional modeling
- setup, use and conception of Deployment and Production environments for a DWH
- cloud technologies ( managed Services/ cloud hosting , AWS +GCP )
- container technologies ( Docker/Kubernetes/Helm )
- streaming data ( e.g. with Kafka ), message definitions
- batch data processing ( ELT )
- REST API connectivity
- system analysis, requirements definitions
- agile projecthandling
- strong experience in data analysis for different industries ( e.g. online gaming, social media, trade, logistics, financial services, entertainment )
- strong experience in open source technologies
- Apache Software Foundation committer
- used to DevOps approaches
Preferred toolset :
- Apache Hop
- Apache Airflow
- Apache Nifi
- Apache Kafka
- Apache Superset
- Jenkins
- Pentaho ( Kettle, PDI, PRD, BI-Suite, mondrian )
- relational : Oracle, Postgres, MySQL, MariaDB, Informix,
- others : HP Vertica, Snowflake, Exasol
- Bash, Shell, SQL, Python
- Unix/Linux
Other experiences:
- JIRA, Confluence Toolset
- team coaching
- Microsoft office
- database frontends ( DBVisualier, DBeaver, Toad etc. )
- Talend ETL suite
- SSIS, Datastage,
- Ansible,
- DWH operations
Persönliche Daten
- Deutsch (Muttersprache)
- Englisch (Fließend)
- Französisch (Grundkenntnisse)
- Europäische Union
Kontaktdaten
Nur registrierte PREMIUM-Mitglieder von freelance.de können Kontaktdaten einsehen.
Jetzt Mitglied werden