Data Architect
- Verfügbarkeit einsehen
- 0 Referenzen
- auf Anfrage
- Nordrhein-Westfalen
- National
- de | en
- 03.12.2024
Kurzvorstellung
Data Architect,
Big Data Engineer,
Cloud Engineer
Qualifikationen
Projekt‐ & Berufserfahrung
4/2021 – 10/2022
Tätigkeitsbeschreibung
Beratung, Requirements Engineering & Testing:
- Analyse und Konzeption der Einbindung von Mobile-App Daten in das DWH
- Design von Kennzahlen zur Erfolgsmessung von Preisaktionen
- Dimensionsabgleich zweier DWHs
- Technologien: Snowflake, Databricks on Azure, Microstrategy
Databricks, Analyse der Kennzahlen, Microstrategy, Snowflake
7/2020 – 10/2020
Tätigkeitsbeschreibung
- Analyse und Redesign des Matchingprozesses
- Matching von Buchungsvorgängen in Python
- Erstellung von 2 Architekturentwürfen zur Automatisierung des Prozesses in AWS
- Technologien:Python, Lambda, StepFunctions, Data Vault
Amazon Web Services (AWS), Data Vault, Python
1/2020 – 4/2020
Tätigkeitsbeschreibung
- Propagierung und Schulung von AWS Cloud, Infrastructure as Code & docker
- Befüllung eines Data Lakes mit SEPA Events
- Technologien: AWS IAM & Glue, terraform, Kafka & KafkaConnect, C#
C#, Iaas, Apache Kafka, SEPA
1/2019 – 10/2019
Tätigkeitsbeschreibung
- Design einer Überwachungslogik für Kafka Datenströme auf Vollständigkeit
- Implementierung einer Komponente der Überwachungslogik
- Analyse der Transaktionssemantik von Oracle CDC Daten
- Technologien: Java, KStreams, Spark Streaming, Avro, HBase, Oracle GoldenGate
Apache Spark, Apache Kafka, Oracle Database
7/2017 – 12/2018
Tätigkeitsbeschreibung
- Generalisierung von 10 Threshold Regeln auf 2 Parameter
- Neudesign der Verabeitungskette erlaubt AdHoc exakte Berechnung der Ausgabedatenmenge (statt 20 Tage Berechnung abzuwarten)
- ETL von XML & csv Files
- Entwicklung eines Custom Spark-Reader für DDEX Flat Files
- Optimierung von Spark Lese- & Schreibvorgängen in S3, Evaluierung vom Hadoop Filesystem
- Automatisierung von Start/Stop/Beladung von AWS EMR Clustern
- Administration des AWS Accounts (DEV)
- Technologien: Scala, Spark, Java, AWS (EMR, Lambda, StepFunctions, RDS, CodePipeline, IAM)
Big Data, Amazon Web Services (AWS), Apache Spark, Bash Shell, Java (allg.), Scala, XML
4/2016 – 3/2017
Tätigkeitsbeschreibung
- Entwicklung von ETL-Flows
- Modellierung der Microstrategy Architektur & Erstellung von Reports
- Refactoring von Datenmodellen
- Troubleshooting von Microstrategy Architekturproblemen
- Code Review & Schulung von ETL Entwicklern
- Technologien: Sybase IQ, Watcom-SQL, Microstrategy
ETL, Microstrategy, Sybase, Transact-Sql
8/2012 – 12/2015
Tätigkeitsbeschreibung
- Anbindung von 5 Quellsystemen, von der Anforderungsermittlung über Definition der Schnittstelle zum Quellsystem, Datenmodellierung, ETL, Modellierung der Microstrategy Architektur, Erstellung von Report
- Beratung zur Definition neuer Kennzahlen unter technischen und wirtschaftlichen Aspekten
- Ermittlung, Abstraktion und Abstimmung des Domänenmodells im Call Forecasting
- Erstellung von Datenmodell & Verarbeitungslogik für Kundenzufriedenheitsbefragungen
- Prüfung der technischen Fähigkeiten von Bewerbern
- Code Review & Schulung von 6 ETL Entwicklern
- Review der DWH & MicroStrategy Guidelines
- Technologien: Sybase IQ, Watcom-SQL, Microstrategy
Call-Center, ETL, Analyse der Kennzahlen, Microstrategy, Sybase
7/2007 – 3/2012
Tätigkeitsbeschreibung
IT-Berater: Teilprojektleitung, Business Intelligence Designer
- Planung, Detailspezifikation und Abnahme eines Data Marts im Kontext eines EDWH
- Implementierungsplanung mit CapGemini
- Entwurf eines generischen Datenmodells für Kontaktdaten aus 4 Quellsystemen
- Verantwortung für Mapping von 6 Quellsystemen an das DWH, davon eines per Reverse Engineering
- Review der EDWH Guidelines und Koordinierung von Shared Dimensions mit dem BICC
- Review und Beurteilung der vorhandenen ETL-Flows
- Review, Erweiterung und Erstellung eigener BO Universen
- Analyse und Entwicklung von Richtlinien zur Nutzung des BO LifeCycle Management Systems
- Technologien: Oracle, SAP Business Objects, SAP Business Objects Data Integrator
IT-Berater: Software Engineer
- Entwurf und Implementierung eines Identity Management Systems
- Entwurf und Implementierung eines KVP-Tools
- Technologien: Oracle PL/SQL, PHP, Access
Business Intelligence (BI), ETL, PL/SQL, SAP BusinessObjects (BO)
10/2004 – 6/2007
Tätigkeitsbeschreibung
- Planung und Entwicklung einer Alertservers zur Überwachung von Börsenkursen und Volumina
- Erstellen der Berechnungsregeln für die Indikatoren unter der Beachtung der unterschiedlichen Marktmodelle der beteiligten Börsen.
- Erstellen von automatisierten GUI Tests für einen Handelsclient
- Scripten von Tests für Ordertypen, für eine börsenunabhängige Emulation des Handelsserver
- Technologien: Java, QF-Test, Jython (Java Impl. von Python)
Aktienhandel, Java (allg.), Python, Test Automation
3/2002 – 4/2004
Tätigkeitsbeschreibung
- Standardisierung der Daten verschiedener deutscher Handelsplattformen (XETRA, EUREX, XONTRO; TRADIX)
- Entwicklung einer Transaktionsdatenbank
- Anforderungsanalyse und Planung des Gesamtsystems
- Programmierung der Schnittstelle zur Middelware
- Definition der Schnittstellen, Semantik und GUI von 3 zugreifenden Anwendungen
- Technologien: Oracle PL/SQL, Visual Basic, Streaming mit Tibco Rendezvous
Aktienhandel, PL/SQL, Visual Basic
3/2001 – 12/2001
Tätigkeitsbeschreibung
- Erstellung des Pflichtenhefts und Datenmodellierung einer Austauschplattform zwischen 5 europäischen CRM Anwendungen
- Vorbereitung auf ein Data Warehouse
- Anbindung eines elektronischen Bestellsystems
- Planung und Programmierung eines Java Adapters
- Plattformunabhängige Transformation von Daten per XSLT
- Technologien: XML & XSLT, SOAP, Java, MS SQL Server
Java (allg.), Microsoft SQL-Server (MS SQL), SOAP, XML, XSD (XML Schema Definition), XSLT (XSL Transformation)
8/2000 – 2/2001
Tätigkeitsbeschreibung
- Erstellen einer Web-Reporting Anwendung
- Technologien: ASP und Crystal Report
ASP, Prozessoptimierung, Crystal Reports
4/1997 – 7/2000
Tätigkeitsbeschreibung- U.a. Redesign einer AutoCAD Anwendung (LISP)
Eingesetzte QualifikationenAkustische Messtechnik, Autodesk AutoCAD (allg.), Chemieanlagenbau
Ausbildung
Big Data University, IBM, -Hyperlink entfernt-
Fachhochschule Ludwigshafen
Fachhochschule Düsseldorf
Über mich
Weitere Kenntnisse
SQL Datenbanken: Snowflake, Oracle, Sybase IQ (spaltenorientiert), MySQL, Postgre SQL, MS SQL, Access
DB Programmiersprachen: Watcom-SQL (Sybase IQ, ähnlich T-SQL), PL/SQL (Oracle)
Programmiersprachen: Scala, Java, JavaScript incl TypeScript, Python, Bash Scripte incl. RegExp,C#, Visual Basic, C++, AutoLISP inkl. DCL, Pascal, Fortran, Basic
Big Data: Kafka inkl. KStreams & KafkaConnect, Spark, HBase, Hadoop, Hive, Jupyter, Akka, Databricks inkl. Unity
Webanwendungen: PHP inkl Smarty, Node.js, NW.js, J2EE (Web Services, Servlets, JSP, JMS, JDBC ), ASP
IDE: IntelliJ, Eclipse, JBuilder, Visual Studio, TOAD, Oracle SQL Developer
Versionskontrolle/Bugtracking,CI/CD: cvs, Subversion, git, GitHub, Jira, Bugzilla, Redmine, Visual Studio, Jenkins, AWS CodeBuild & CodePipeline, Azure DevOps
Testing: JUnit, qfTest (Java GUI Tests), automatisierte ETL Tests
ContactCenter: Cisco IPCC,CosmoCom Universe, Mailminder (Attensity), Rogator
Datenaustausch: JSON, XML, Avro, XSLT, XSD, DOM, SOAP, WSDL, BO Data Integrator / Data Designer
BI: MicroStrategy, Business Objects Enterprise XI, BO WebIntelligence, BO Universe Designer, D3.js, Crossfilter.js
ETL: Business Objects Data Integrator, handgeschriebene Prozeduren in kundeneigenen Framework
AWS Cloud: EMR(Spark mit Scala, Jupyter) als ETL, S3, IAM, Lambda, StepFunctions, , DynamoDB, RDS(PostGres) , Terraform, Cloudwatch, EC2, VPC, SNS, Batch, CloudTrail, Glue, Glue Data Brew, Lake Formation, Control Tower, ECS, Athena, Organizations, SSO
Azure Cloud: Databricks, ADLS2, Key Vaults, IAM, Entra, Firewalls
Agile Methoden: Scrum, Kanban, Pair Programming
Persönliche Daten
- Deutsch (Muttersprache)
- Englisch (Gut)
- Europäische Union
Kontaktdaten
Nur registrierte PREMIUM-Mitglieder von freelance.de können Kontaktdaten einsehen.
Jetzt Mitglied werden