Data Engineer & Senior Architect für Data Lake & -Warehouse, IT Projektmanager
- Verfügbarkeit einsehen
- 6 Referenzen
- 120‐150€/Stunde
- 22395 Hamburg
- DACH-Region
- de | en
- 04.09.2024
Kurzvorstellung
Auszug Referenzen (6)
"M. developed ML pipelines for our team to supply data to an AI model and added significantly to the success of the project through his expertise."
1/2022 – 2/2023
Tätigkeitsbeschreibung
Aufbau modularer Microservices in der GCP:
Die aufzubauenden Microservices sind Teil eines Produkts zur realtime Betrugserkennung mittels KI basierend auf den Clickstream Daten und damit ein wichtiger Bestandteil operativer Prozesse
Besonderer Aspekt lag auf dem Aufbau von Schnittstellen zur Datenübertragung AWS zu GCP sowie der
Konzeption und dem Aufbau von ETL-Prozessen mit besonderem Schwerpunkt auf große Datenmengen ( >1,5 Petabyte)
Amazon Web Services (AWS), Kubernetes, Big Data, Google Cloud, Continuous Integration, Python, SQL
"M. did a great job setting up the feeds from the start and driving multiple major optimizations and reworks. It was a pleasure working with him!"
3/2021 – 5/2022
Tätigkeitsbeschreibung
-Design and Implementation of Data Feeds for providing product- and pricing-data to internal and external partners e.g. idealo/geizhals/google shopping etc..
-Design of monitoring guidelines and implementation of complete Infrastructure optimized for efficient operations
-Performance- and costs optimization of already existing feeds
Big Data, Data Warehousing, Google Cloud, Digital Marketing, Python
"M. ist ein überdurchschnittlich motivierter und zuverlässiger Berater der mit seiner langjährigen Erfahrung sehr viel Mehrwerft geschaffen hat."
2/2021 – 4/2021
Tätigkeitsbeschreibung
Solution Architect
Data Engineering und Aufbau ETL / ELT Prozesse mit Schwerpunkt GCP/BigQuery/Dataform/Looker
Big Data, Data Science, ETL, Google Cloud, Python, Software Architecture
"As PO able to manage competing priorities and meet tight deadlines effectively. As Developer always knows what to do to deliver high quality solution."
5/2020 – 1/2021
Tätigkeitsbeschreibung
-Define the data product vision, scope and the development roadmap/product backlog to drive implementation of your defined Objectives and key results based on our business strategy
-Be responsible for the creation and the delivery of your team`s Objectives and Key Results (OKR)
-Address dependencies and ensure consistency in our companies reporting services
-Balance regulatory requirements, speed, accuracy and reliability
-Liaise with relevant stakeholders during the product lifecycle, e.g. define, prioritize and accept user stories in the backlog as functional leader of the DWH team
-Foster regular exchanges with Accounting/Controlling, PFV, Data Analysts and other Product Managers to ensure the right data ends up in the right place in the right way
-Highlight/Identify and address gaps in existing functionality and review requirements with stakeholders tightly cooperating with them
-Manage competent technical implementation of projects/solutions around the topic of data warehousing, data lakes and data management
-Active support in the further development of our architectural approaches to enterprise data warehousing, data lakes, cloud (AWS) and big data solutions and analytics platforms
-Be the Owner of the DWH Scrumboard, bi-weekly planning meeting, prioritization of tasks, creation of jira tickets and clarification of tasks
-Communicate plans and achievements
Amazon Web Services (AWS), Confluence, Docker, Jira, Microsoft SQL-Server (MS SQL)
"Sehr gute und erfolgreiche Zusammenarbeit. Qualität der Arbeit und Engagement sind hervorragend."
8/2018 – 5/2020
TätigkeitsbeschreibungAufbau einer Data Plattform für BI, Data Science, BigData Analytics & MachineLearning auf Basis der Google Cloud Plattform
Eingesetzte QualifikationenTableau, Agile Methodologie, Docker, Jenkins, Cloud Computing, Distributed Computing
"Herr [...] hat das Projekt in Time&Budget zum Erfolg geführt."
1/2015 – 11/2016
Tätigkeitsbeschreibung
Vorbereitung und Durchführung einer Ausschreibung zur Software-Auswahl.
Konzeption und Leitung des Projektes für die Einführung einer Konzernweiten Planungsapplikation
Business Intelligence (BI), Microsoft SQL-Server (MS SQL), Projektleitung / Teamleitung (IT)
Qualifikationen
Projekt‐ & Berufserfahrung
6/2023 – offen
Tätigkeitsbeschreibung
Disziplinarische Verantwortung für die Abteilung Global Data Engineering mit 4 Teams in Deutschland und Polen (40FTE).
Fachliche Verantwortung über die Migration des Enterprise Datawarehouses von Oracle Exadata und MapR-Clusters zu GCP incl der Migration und Modernisierung des Techstacks für DataEngineering und ML Teams.
Budgetierung, Google Cloud, Management (allg.), Oracle Business Intelligence (BI), Schulung / Coaching (allg.), Strategische Unternehmensplanung
1/2022 – 2/2023
Tätigkeitsbeschreibung
Aufbau modularer Microservices in der GCP:
Die aufzubauenden Microservices sind Teil eines Produkts zur realtime Betrugserkennung mittels KI basierend auf den Clickstream Daten und damit ein wichtiger Bestandteil operativer Prozesse
Besonderer Aspekt lag auf dem Aufbau von Schnittstellen zur Datenübertragung AWS zu GCP sowie der
Konzeption und dem Aufbau von ETL-Prozessen mit besonderem Schwerpunkt auf große Datenmengen ( >1,5 Petabyte)
Amazon Web Services (AWS), Kubernetes, Big Data, Google Cloud, Continuous Integration, Python, SQL
3/2021 – 5/2022
Tätigkeitsbeschreibung
-Design and Implementation of Data Feeds for providing product- and pricing-data to internal and external partners e.g. idealo/geizhals/google shopping etc..
-Design of monitoring guidelines and implementation of complete Infrastructure optimized for efficient operations
-Performance- and costs optimization of already existing feeds
Big Data, Data Warehousing, Google Cloud, Digital Marketing, Python
2/2021 – 4/2021
Tätigkeitsbeschreibung
Solution Architect
Data Engineering und Aufbau ETL / ELT Prozesse mit Schwerpunkt GCP/BigQuery/Dataform/Looker
Big Data, Data Science, ETL, Google Cloud, Python, Software Architecture
5/2020 – 1/2021
Tätigkeitsbeschreibung
-Define the data product vision, scope and the development roadmap/product backlog to drive implementation of your defined Objectives and key results based on our business strategy
-Be responsible for the creation and the delivery of your team`s Objectives and Key Results (OKR)
-Address dependencies and ensure consistency in our companies reporting services
-Balance regulatory requirements, speed, accuracy and reliability
-Liaise with relevant stakeholders during the product lifecycle, e.g. define, prioritize and accept user stories in the backlog as functional leader of the DWH team
-Foster regular exchanges with Accounting/Controlling, PFV, Data Analysts and other Product Managers to ensure the right data ends up in the right place in the right way
-Highlight/Identify and address gaps in existing functionality and review requirements with stakeholders tightly cooperating with them
-Manage competent technical implementation of projects/solutions around the topic of data warehousing, data lakes and data management
-Active support in the further development of our architectural approaches to enterprise data warehousing, data lakes, cloud (AWS) and big data solutions and analytics platforms
-Be the Owner of the DWH Scrumboard, bi-weekly planning meeting, prioritization of tasks, creation of jira tickets and clarification of tasks
-Communicate plans and achievements
Amazon Web Services (AWS), Confluence, Docker, Jira, Microsoft SQL-Server (MS SQL)
8/2018 – 5/2020
TätigkeitsbeschreibungAufbau einer Data Plattform für BI, Data Science, BigData Analytics & MachineLearning auf Basis der Google Cloud Plattform
Eingesetzte QualifikationenTableau, Agile Methodologie, Docker, Jenkins, Cloud Computing, Distributed Computing
1/2015 – 11/2016
Tätigkeitsbeschreibung
Vorbereitung und Durchführung einer Ausschreibung zur Software-Auswahl.
Konzeption und Leitung des Projektes für die Einführung einer Konzernweiten Planungsapplikation
Business Intelligence (BI), Microsoft SQL-Server (MS SQL), Projektleitung / Teamleitung (IT)
Zertifikate
Ausbildung
Berlin
Weitere Kenntnisse
Persönliche Daten
- Deutsch (Muttersprache)
- Englisch (Fließend)
- Europäische Union
Kontaktdaten
Nur registrierte PREMIUM-Mitglieder von freelance.de können Kontaktdaten einsehen.
Jetzt Mitglied werden