Data Engineer/Integration Developer

12/2021 – 7/2023

Migration von ETL-Prozessen und Modernisierung der Datenarchitektur
Aufgabe:
Der Kunde benötigte Unterstützung bei der Migration von ETL-Prozessen (mehr als 60) auf eine neue
Plattform.
Das Projekt umfasste die Entwicklung einer Lösungsarchitektur für eine reibungslose Datenmigration, sowie
ein vorläufiges Audit der bestehenden ETL-Dienste. Das Audit umfasste eine Analyse der Relevanz der
Dienste, einschließlich einer Bewertung der Häufigkeit ihrer Nutzung und der Datenrelevanz.
Nutzungshäufigkeit und Datenrelevanz. Eine vorläufige Analyse wurde durchgeführt und Dokumentation der
aktuellen Datenlandschaft. Als Interimsarchitekt für das DWH war ich für die Entwicklung verschiedener ETLDienste
zur Extraktion von Daten aus verschiedenen Quellsystemen wie APIs, relationalen Datenbanken,
externen Systemen (einschließlich SAP) und benutzerdefinierten Excel-Dateien von der Vorbereitung der
Geschäftsanforderungen bis zur Freigabe.
Ich implementierte agile Prinzipien in einem Team von fünf Entwicklern und zwei technischen Support-
Mitarbeitern
Verbesserung der Kommunikation und der Effizienz der Projektdurchführung u.a. mit Hilfe von Jira und
Confluence.
Herausforderung: Entwicklung eines Python-Dienstes zum Parsen und Laden Daten aus beliebigen
benutzerdefinierten Excel-Dateien in DWH, mit der Erstellung von Aufgaben zum Parsen und Integrieren der
Daten in Kafka. Der Dienst wird in einer Cloud-Infrastruktur bereitgestellt.
Herausforderung: Migration von ETL-Diensten von SSIS zu Airflow.
Implementierung von DevOps-Prozessen einschließlich Datenverträgen, Unit-/Modular-Tests
Technologien:
Yandex Cloud (russische Cloud-Plattform, analog zu AWS und Azure), SSIS, Airflow,
Projektleitung und Dokumentation: Confluence, Jira
Sprachen: SQL, Python, C#

C#, Microsoft SQL Server Integration Services (SSIS), Python, SQL

1/2021 – 12/2021

Communicated with the data science team to ascertain their data needs;
Communicated with owners of data sources;
Calculate the metrics of the mobile application service, funnels;
Stratified datasets for A/B testing
Build datamarts for A/B tests based on mobile app clickstream data;
Wrote ETL (SQL, Python) for loading external data into DWH;
Implemented automated launch (SSIS, Python);
Prepared a description of metrics and showcases on Confluence.

Microsoft SQL Server Integration Services (SSIS), Microsoft SQL-Server (MS SQL), SQL, Python

12/2019 – 1/2021

Designed and developed a DWH on the MS SQL Server platform;
Designed and developed OLAP cubes on the MS SSAS platform;
Analyzed external information systems and developed integration packages (MS SSIS) for data transfer to the DWH;
Developed reporting forms for business users (MS SSRS);
Updated the data in the DWH.

Microsoft SQL Server Analysis Services (SSAS), Microsoft SQL Server Reporting Services (SSRS), Microsoft SQL Server Integration Services (SSIS), Microsoft SQL-Server (MS SQL), SQL, Python