Data Engineer

9/2023 – 1/2025

- Entwicklung einer Engine in Python, die Datenquellen liest und Schlüsselinformationen wie Zeilenzahl, 10 häufigste Werte pro Spalte, Spaltentypen und statistische Berechnungen mit Pandas ableitet.
- Entwicklung einer Streamlit UI-Anwendung, die einen konsolidierten Überblick über die Metadaten bietet.
- Integration von Confluent Kafka als Messaging Broker zwischen der Engine und der Streamlit UI App. 
- Automatisierung des manuellen Prozesses (ursprünglich in Excel) zur Pflege und Abfrage von Metadaten über mehrere Systeme hinweg, einschließlich Postgres, DB2, Kafka-Themen und Excel-Tabellen.
- Beschleunigung der Migrationsaktivitäten durch die Bereitstellung konsolidierter Metadaten und Schlüsselinformationen über Tabelleninhalte und Datentypen über alle Datenquellen hinweg.
- Containerisierung beider Anwendungen für den Einsatz von Kubernetes in der Kundenumgebung.

Apache Kafka, Data Engineer, Docker, Pandas, Python

5/2023 – 8/2023

- Implementierung der Integration von Hubspot CRM mit Alphaplan, dem ERP-System eines Maschinenbauunternehmens, zur Verbesserung der CRM-Datenerfassungs- und -Eingabeprozesse.
- Integration von Confluent Kafka als Messaging Broker zwischen Hubspot und dem Zielsystem.
- Entwicklung einer Python-Kafka-Procuer Anwendung in Azure Cloud (Azure Functions), die API-Aufrufe durchführt und Einträge an Kafka sendet.
- Entwicklung einer Python-Kafka-Consumer Anwendung On Premises, die die Kafka Topic abhört und Einträge in die Datenbank des Zielsystems schreibt.
- Optimierung der CRM-Datenerfassung, die einen automatischen Datentransfer zum ERP-System vor Ort ermöglicht.
- Deutliche Verbesserung der Benutzerfreundlichkeit und der betrieblichen Effizienz, da die Benutzer des Vertriebsteams die CRM-Daten nicht mehr durch direkten Zugriff auf das ERP-System vor Ort pflegen müssen.

Apache Kafka, CRM (Customer Relationship Management), Microsoft Azure, Python, SQL

4/2023 – 4/2023

Entwicklung einer event gesteuerten ETL-Pipeline in der AWS-Cloud unter Verwendung von AWS-Diensten (Glue, Step Functions, Lambda und SQS) zum Abfangen von S3-Events und Auslösen der Verarbeitung und Validierung von XML-Dateien.

XML, Amazon Web Services (AWS)