Data Engineering

Start: 01.11.2024

Dauer: Bis Ende 2029
Auslastung: 1 -2 Tage / Woche
Lokation: Remote

Aufgaben:

* Entwicklung von Datenpipelines, zur Datenaufnahme und -verarbeitung im Projekt
* Anbindung von verschiedenen Datenquellen zur Datenintegration und Konsolidierung
* Erstellung von APIs und Integration von Daten in die Anwendungen DLDBS
* Entwicklung von Datenmodellen für die Speicherung von Daten in der DataLake-Infrastruktur
* Erstellen von Lieferpaketen für die betreffenden Schnittstellen (Extraktoren)
* Optimierung und Automatisierung von Datenbanken und Verarbeitungsprozessen in der Dateninfrastruktur
* Fachliche Unterstützung bei der Wartung und Weiterentwicklung der Projekt-Infrastruktur
* Fachliche Unterstützung bei technischen Betriebsführungs-Aufgaben und Datenquellen-Releases
* Dokumentation der technischen und fachlichen Komponenten der Dateninfrastruktur

Muss-Anforderungen:

* Langjährige IT-Erfahrung in der Programmierung von Business Intelligence-Applikationen (wie z.B. Oracle BI, Oracle WB, Oracle DI, Reports, Discoverer, BI- Publisher, ApacheTomcat o.ä.)

* Langjährige Erfahrung mit Datenmodellierung und Virtualisierung (z.B. mit SAP BO, CSV-Datenstrukturen, BI Reporting Services, Linux KVM, Docker)

* Langjährige Erfahrung im Data Management, mit der Programmierung von Datenbanken (wie z.B. Oracle, PostgreSQL, MySQL, MariaDB, Elasticsearch, Amazon DynamoDB, Liquibase)
* Web-Service-Programmierung mit verschiedenen Sprachen (wie z.B. Java, Py- thon, Unix Script-Sprachen, BASH, SHELL, ZSH, Scala, C/C++, XSL Transformation XML)

Soll-Anforderungen:

* Analyse, Konzeption und Entwicklung von Datenmanagementprozessen, Datenvalidierung, inkl. Testing und Qualitätssicherung

* Langjährige Erfahrung beim Arbeiten auf DataLake-Infrastrukturen und beim Programmieren mit AWS Services (wie RDS, EC2, Lambda, S3, Glue)

* Review, Anforderungs- und Risikoanalyse, Laufzeitoptimierung und Weiterentwicklung von Verarbeitungsprozessen des Datamanagements