Senior Consultant Data Warehouse / BI
- Verfügbarkeit einsehen
- 5 Referenzen
- auf Anfrage
- 22307 Hamburg
- National
- de | en
- 14.05.2024
Kurzvorstellung
Qualifikationen
Projekt‐ & Berufserfahrung
1/2020 – 4/2020
Tätigkeitsbeschreibung
* Datenintegration eines neuen Tochterunternehmens in das zentrale Data Warehouse
* Vereinfachung bestehender Prozesse zur besseren Skalierbarkeit
Datenbankentwicklung, Perl, Python
4/2019 – 12/2019
Tätigkeitsbeschreibung
Aufbau eines DWHs innerhalb einer Hadoop-Umgebung
- Anforderungsanalyse
- ETL-Entwicklung mit einem Spark-Framework und Exasol
- Verbesserung der Deploymentprozesse
- Modellierung mit DataVault 2.0
Apache Hadoop, Big Data, Business Intelligence (BI), Data Warehousing, Datenbankentwicklung, Relationale Datenbanken, SQL, Continuous Delivery, Ubuntu, Bash Shell, Python
9/2017 – 10/2018
Tätigkeitsbeschreibung
Aufbau eines KPI-Data-Mart innerhalb eines Streaming Analytics Framework
- Programmierung von ETL-Prozessen auf Basis von Talend und Exasol
- Umsetzung von Anforderungen der EU-DSGVO
- Entwicklung automatischer Robottests
- Entwicklung Metadaten getriebener Datenintegrationsprozesse
- Entwicklung und Optimierung von Exasol spezifischen SQL Skripten
- Modellierung mit DataVault 2.0
Business Intelligence (BI), Data Warehousing, Datenbankentwicklung, Relationale Datenbanken, SQL, Continuous Delivery, Python
7/2017 – 12/2019
Tätigkeitsbeschreibung
Weiterentwicklung eines hochperformanten Neartime-DWH-Systems
- Programmierung der Softwareanwendung für die Integration weitere Datenquellen in das DWH
- Weiterentwicklung und Optimierung der bestehenden Software zur Datenverarbeitung
- Beratung zu den Themen Import-Framework und Datafeed Generator
Open Source, Datenbankentwicklung, ETL, Microsoft SQL-Server (MS SQL), Mysql, SQL, Perl
5/2014 – 7/2017
Tätigkeitsbeschreibung
Aufbau eines hochperformanten Neartime-DWH-Systems einschließlich der Integration von mehreren tausend Datenquellen
- Weiterentwicklung und Optimierung eines über Metadaten konfigurierbaren Import-Frameworks
-Entwicklung eines Generators zur Erzeugung von DDL und Importdefinitionen auf Basis von Templates zur schnellen Integration von neuen Quellen bzw. bei Änderungen der Quellen
- Integration mehrerer tausend Quellen (DBs, CSV, Rest-Apis) in hoher Frequenz (halbstündlich) mit Hilfe des Import-Frameworks und Pentaho Dataintegration (PDI)
- Aufbau eines hochperformanten DWHs auf Basis von Exasol
- Datenbankadminstration einschließlich Rollen-Rechte-Konzept
- Aufbau Datenbasis und Datenexport für das Kampagnenmanagement mehrerer Länder
Open Source, ETL, Microsoft SQL-Server (MS SQL), Mysql, Relationale Datenbanken, Ubuntu, Perl
1/2014 – 6/2017
Tätigkeitsbeschreibung
Aufbau und Erweiterung einer Schnittstelle zwischen Kampagnenmanagement-Tool und verschiedenen Email Providern
- Reverse Engineering der alten Schnittstelle auf Basis von C# mit dem Zweck der Erstellung einer Anforderungsdokumentation
- Schlanke Neuimplementierung auf Basis von Perl und Sqlite mit dem Ziel
- einfacherer Konfiguration durch YAML
- höherer Performance
- schnellerer Anpassung bei Änderungen der fachlichen bzw. technischen Anforderungen
- hohe Robustheit mit geringem Pflegeaufwand • Erweiterungen der Schnittstelle
- Änderung des Ausgabeformats von XML auf CSV
- Anpassung der Kommunikation durch Wahl eines neuen Email-providers
- Leicht konfigurierbare, länderspezifische Validierung und Formatierung von Kundendaten für das Offline-Mailing
Oracle Database, Ubuntu, Perl
3/2013 – 10/2019
Tätigkeitsbeschreibung
Support und Erweiterungen eines DWHs für Analyse und Marketing
- Support bei Produktionsproblemen
- Beratung für Weiterentwicklung
- Datenbank und ETL-Migration von SQL-Server 2008 auf 2014
- Implementierung von Change Requests auf Basis von SQL-Server, SSIS und Perl
- Anbindung von Schnittstellen mehrerer Marketingplattformen zur Salesvalierung
Transact-Sql, Microsoft SQL Server Integration Services (SSIS), Microsoft SQL-Server (MS SQL), Perl
3/2013 – 1/2014
Tätigkeitsbeschreibung
Support und Erweiterungen eines Customer Datamarts Kampagnenmanagement
- Support bei Produktionsproblemen
- Beratung für Weiterentwicklung
- Implementierung von Change Requests auf Basis von SQL-Server und SSIS
Microsoft SQL Server Integration Services (SSIS), Microsoft SQL-Server (MS SQL)
11/2012 – 1/2013
Tätigkeitsbeschreibung
Aufbau eines Prototypen für eine BI-Plattform im E-Commerce-Bereich
• Weiterentwicklung eines über Metadaten konfigurierbaren Import- Frameworks
• Implementierung weiterer Schnittstellen für dieses Frameworks
• Aufbau des DWHs auf Basis von SQL-Server, SSIS und des Import- Frameworks
Microsoft SQL Server Integration Services (SSIS), Perl, Transact-Sql
8/2012 – 11/2012
Tätigkeitsbeschreibung
Aufbau eines Data Warehouse für ein E-Commerce-Online-Portal
- Aufbau eines wiederverwendbaren, über Metadaten konfigurierbaren Import-Frameworks zur Anbindung verschiedener Quelltypen an das Data Warehouse auf Basis von Perl
- Implementierung eines Google Analytics Plugins für dieses Framework
- Implementierung von ETL-Prozeduren auf Basis von Pentaho Data
Integration und Mysql
- Entwicklung und Umsetzung des Datenbank- und ETL-Deployments
Open Source, Mysql, Perl, Google Analytics
1/2012 – 8/2012
Tätigkeitsbeschreibung
Konzeption und Umsetzung von standardisierten Data Warehouse Rollouts für Ventures eines international operierenden E-Commerce- Unternehmens
- Konzeption einer Venture übergreifenden standardisierten DWH Architektur
- Standardisierung von Hardware, Betriebssystem, Software, DWH- Artefakten für alle Ventures
- Konzeption und Umsetzung eines Rolloutverfahrens
- Durchführung des DWH-Rollouts für mehrere Ventures
- Konzeption und Umsetzung des Datenbankbackups für Oracle 11g
- Implementierung von einheitlichen Ladeprozesse auf Basis von Pentaho Data Integration und Oracle 11g
Datenbankentwicklung, ETL, Oracle Database, Open Source, Perl
5/2011 – 12/2011
Tätigkeitsbeschreibung
Planung und Umsetzung einer operativen Monitoring- und Analyseplattform für ein IVR-System auf Basis einer Open-Source-BI-Suite
- Aufbau einer neuen 3-Tier-Architektur mit virtualisierter BI-Plattform auf Basis von Pentaho und Linux bei Beachtung der strengen Sicherheitsanforderungen der produktiven IVR-Umgebung
- Umbau der bestehenden ETL-Prozesse auf Basis von SQL-Server auf Pentaho Data Integration mit einer Oracle Datenbank
Open Source, Microsoft SQL-Server (MS SQL), Red Hat Enterprise Linux (RHEL)
5/2010 – 4/2011
Tätigkeitsbeschreibung
Migration einer Systemlandschaft eines IVR-Systems auf eine neue sicherheitskonforme Umgebung
- Untersuchung der Altsysteme nach Sicherheitsrichtlinien, insbesondere der Datenbanken (MySQL und Oracle)
- Identifikation der Sicherheitslücken und Einleiten von Maßnahmen
- Entwicklung und Einführung eines einheitlichen Rollen- und
Rechtekonzept für die Datenbank
- Umsetzung der Software- und Datenbankmigration vom Oracle 9i auf die neue Oracle 11g
Oracle Database
8/2009 – 3/2010
Tätigkeitsbeschreibung
Weiterentwicklung eines Kampagnen-Managementsystems
- Implementierung neuer Funktionalitäten auf Basis von PL-SQL / Oracle 10g
- Verbesserung der Softwarequalität durch Einführung folgender Maßnamen:
- Programmierrichtlinien
- Detailliertes Logging
- Einführung einer Versionsverwaltung (Subversion)
- Entwicklung eines zuverlässigen Lieferverfahrens
- Analyse von Betriebsproblemen
Oracle Database, Subversion, PL/SQL
7/2009 – 8/2009
Tätigkeitsbeschreibung
Migration eines Data Warehouse auf ein spaltenorientiertes Datenbanksystems (EXASOL)
- Konsolidierung der Kennzahlen des bestehenden Datamarts
- Analyse der auf Basis von Pentaho Data Integration bestehenden ETL- Prozesse und Neudesign des Datamarts
- Neuimplementierung der ETL-Prozesse auf Basis des EXASOL SQL.
Open Source, Relationale Datenbanken, Perl
3/2008 – 6/2009
Tätigkeitsbeschreibung
Betriebsunterstützung von Applikationen und Datenbanken im Rahmen eines IVR-Systems eines Mobilfunkbetreibers
- Betriebsunterstützung diverser Mobilfunkapplikationen
- Betriebsunterstützung der bestehenden Datenbanken (Oracle 9i)
- Planung und Umsetzung eines hochverfügbaren Real-Application-Cluster (RAC) Datenbanksystems auf Basis von Oracle 10g
- Planung der Software- und Datenbankmigration vom Altsystem auf die neue Oracle Plattform
- Second-Level-Support
Oracle Database, Oracle Rac, Bash Shell
9/2007 – 2/2008
Tätigkeitsbeschreibung
Integration von Rechnung- und Ertragsdaten der Betreibervorauswahl (Carrier Preselection) für Festnetztelefonie und ADSL in das Data Warehouse eines Mobilfunkbetreibers
- Analyse, Konzeptionierung und Spezifikation
- Design des Ziedatenmodells
- Design und Implementierung neuer ETL-Prozesse auf Basis von PL-SQL und Oracle 10g
Oracle Database, Perl, PL/SQL
7/2007 – 8/2007
Tätigkeitsbeschreibung
Aufbau einer Datenbasis für die Kundenanalyse eines Online-Portals eines Versandhauses
- Analyse und Konzeptionierung
- Implementierung neuer ETL-Prozesse auf Basis von PL-SQL und Oracle 10g
- Konsolidierung und Performanceoptimierung bestehender ETL-Prozesse
Oracle Database, PL/SQL
9/2006 – 6/2007
Tätigkeitsbeschreibung
Anbindung eines Data Warehouse an einen neuen System Stack
- Funktionale und technische Analyse der Quellsysteme des neuen Stacks, insbesondere des Integrationsbackbone (EAI) und des CRM-Systems
- Analyse von Geschäftsprozessen auf dem alten und neuen Stack
- Anforderungsanalyse der aktuell auf das DWH aufsetzenden Prozesse
- Analyse und Bewertung der Informationen, die der neue Stack für das DWH liefert
- Entwicklung von Zieldatenmodellen in Abstimmung mit den Fachabteilungen
- Design prototypischer ETL-Prozesse auf Basis von PL/SQL unter Oracle 9i und Perl
Oracle Database, Relationale Datenbanken, Perl, PL/SQL
4/2006 – 9/2006
Tätigkeitsbeschreibung
Application Management für ein Billingsystem
- Automatisierung von Installationen
- Prozessoptimierung
- Einführung einer Kommunikationsplattform und Wissensdatenbank auf Basis von TWiki
- Perl-Schulung
- Application Monitoring
Linux Entwicklung, Perl
1/2006 – 3/2006
Tätigkeitsbeschreibung
Konzeptionierung und Implementierung einer neuen ETL-Schnittstelle zum Laden von Billingdaten in das DWH-System eine Online-Anbieters
- Projektleitung
- Analyse und Konzeptionierung
- Design des Datenmodells und der ETL-Prozesse
- Realisierung von Modell, Ladeprozessen und der Ablaufsteuerung auf Basis von Informatica PowerCenter, PL-SQL, Perl und Oracle 9i
- DV-Dokumentation
Informatica, Oracle Database, Perl, PL/SQL
11/2005 – 1/2006
Tätigkeitsbeschreibung
Entwicklung eines Steuerungs- und Reporting-Tools zur Prozessoptimierung für den DSL-Resellerwechsel eines Festnetzbetreibers
- Analyse und Konzeptionierung
- Rapid Prototyping
- Technische Beratung
- Realisierung auf Basis von Perl und Oracle
Oracle Database, Perl
11/2004 – 10/2005
Tätigkeitsbeschreibung
Entwicklung von Services im Rahmen einer SO-Architektur für einen zentralen Datenbankserver für die Vertragsdaten eines Festnetzbetreibers
- Erstellung von Fach- und Datenverarbeitungskonzepten
- Design
- Datenmodellierung
- Entwicklung auf Basis von C++, DB2 unter AIX
- Systemtest
IBM DB2, Relationale Datenbanken, IBM Aix, C++
1/2003 – 11/2004
Tätigkeitsbeschreibung
Datenmigration aus Altsystemen in einen zentralen Datenbankserver für die Vertragsdaten eines Festnetzbetreibers
- Erstellung von Fach- und Datenverarbeitungskonzepten
- Design
- Entwicklung auf Basis von C++ unter AIX
- Überwachung des Buildprozesses unter MVS/zOS
- Systemtest unter MVS/zOS und DB2
IBM DB2, IBM Aix, C++
10/2000 – 12/2002
Tätigkeitsbeschreibung
Statistische Aufbereitung von Gesprächsdaten für das Data-Warehouse eines Mobilfunknetzbetreibers
- Spezifikation und Abstimmung der Schnittstelle zum Billingsystem
- Implementierung der ETL-Prozesse auf Basis von C, Oracle, Informatica PowerCenter
- Betreuung des Betriebes und Pflege der Konfiguration
-Testunterstützung bei der Portierung von VMS auf ein UNIX-System
• Erstellung von Fach- und Datenverarbeitungskonzepten
Oracle Database, C
3/2000 – 10/2000
Tätigkeitsbeschreibung
Erweiterung und Anpassung eines Billingsystems an den Dienst GPRS eines Mobilfunknetzbetreibers
- Realisierung auf Basis Cobol, C und Oracle unter Open VMS
- Systemtest
COBOL
3/1998 – 2/2000
Tätigkeitsbeschreibung
Forschung an einem neuartigen Freie-Elektronen-Laser (FEL) im VUV- Wellenlängenbereich im Rahmen eines internationalen Großprojekts
- Planung, Entwicklung und Aufbau einer Photonenstrahl-Diagnostik
- Entwicklung einer Bildverarbeitungssoftware zur Analyse von CCD-Kameradaten auf Basis von Matlab
- 3d-Simulation der Laserstrahl-Propagation des FEL zur Verbesserung der Laserstrahlperformance
- Wissenschaftliche Publikationen
- Forschungsaufenthalte an der Dublin City University (DCU)
- Präsentationen
Simulink
5/1993 – 2/1998
Tätigkeitsbeschreibung
Forschung im Bereich experimenteller Plasmaspektroskopie
- Experimentelle Forschung
- Entwicklung numerischer Auswerteprogramme auf Basis von C und Matlab
- Wissenschaftliche Publikationen
- Lehrbetrieb, Praktikumsbetreuung
- Proof on Concept eines neuen Messverfahrens an der Comision Chilena Energia Nuclear in Santiago de Chile (08/95–10/95)
- Forschungsaufenthalt am Joint European Torus (JET) in Culham (England) (11/95-12/95)
- Präsentationen
C++, Simulink
Zertifikate
Ausbildung
Bochum
Bochum
Über mich
· Freiberuflicher IT-Berater seit 2017, kommunikative Persönlichkeit mit hands-on Mentalität
· 14 Jahre Consulting Erfahrung im Bereich Data Warehouse / Business Intelligence, davon mehrjährige Erfahrung und Fokus auf:
- hochperformante DWHs auf Basis von MPP-In-Memory-Datenbanken im Multi-Terabyte-Bereich
- Entwicklung von performanten Ladeframeworks zur Neartime Beladung von mehreren tausenden Datenquellen
- Entwicklung von Metadatengeneratoren für eine schnelle, automatisierte Integration neuer Datenquellen
- Optimierung von Rolloutprozessen bei Quellsystemänderungen
· 6 Jahre System Engineer in den Bereichen Billing, DWH und CRM
· 4 Jahre Lehrbeauftragter an der Technische Fachhochschule Georg Agricola zu Bochum ( Bereich Elektrotechnik)
· 2 Jahre Postdoc am Deutsches Elektronen-Synchrotron (DESY) in Hamburg
· Doktorarbeit in experimenteller Plasmaphysik, Abschluss als Dr. rer. nat.
· Physikstudium an der Ruhr-Universität Bochum, Abschluss als Diplom Physiker
· In der Freizeit sportlich (Boxen, Crossfit, Laufen)
Weitere Kenntnisse
- Data-Warehouse
- Automation
- Linux
- Perl
- Python
- EXASOL
- Snowflake
- Oracle
- SQL Server
- MySQL
- SQLite
- Consulting
- Data Vault
- Softwareentwicklung
Persönliche Daten
- Deutsch (Muttersprache)
- Englisch (Fließend)
- Europäische Union
Kontaktdaten
Nur registrierte PREMIUM-Mitglieder von freelance.de können Kontaktdaten einsehen.
Jetzt Mitglied werden