Data Engineer (AWS, Enterprise, Serverless Data Processing & Integration, AWX Glue, Lambda, Spark, AWS Sagemaker, Python, Dashboards in Power BI, Geod

Für unser Projekt IT_1702 suchen wir folgenden Spezialisten (m/w/d):


Einsatzort: Frankfurt

Start: 16.10.2024

Dauer: 31.12.2024 + VL Option

Vertragsart: Remote


Der Verbundprozess VP IHFZ geht die Herausforderungen an den Schnittstellen gemeinsam mit den Geschäftsfeldern an, um die Instandhaltung von Fahrzeugen im Verbund kontinuierlich zu verbessern. Der Fokus des VP IHFZ liegt auf der Optimierung der Schnittstellen zwischen den Einheiten. Die drei Zieldimensionen, um Verbesserungen zu messen, sind Fahrzeugverfügbarkeit, Qualität und Effizienz. Das Monitoring und Reporting der abgestimmten KPIs erfordert eine regelmäßige Erhebung, Vernetzung, Bereinigung, Transformation, Berechnung und Visualisierung der zugrundeliegenden Daten. Dazu wird Unterstützung im Bereich Data Engineering benötigt, um die Jahresziele des Projektes zu erreichen. Das Data Engineering erfolgt auf einer Daten- und Analyseplattform auf AWS-Basis. Zum Einsatz kommen u.a. GitLab Pipelines, AWS Glue, Spark, Python und Power BI. Die Projektorganisation lehnt sich an das SAFe-Framework an. Die konkrete Data Engineering Tätigkeit erfolgt in einem Scrum - Team, das in 2-wöchigen Sprints an seinen Inkrementen arbeitet. Das Team ist erfahren, so dass ein schnelles Onboarding und ein zeitnahes Mitwirken im Scrum-Team möglich sind. Die Projektsprache ist deutsch.

Der Auftragnehmer erbringt unter dem Vertrag nachfolgend genannte Leistungen eigenständig und selbstorganisiert:

• Umsetzung von User Stories und technischen Aufgaben in Jira
• Entwicklung von Datenpipelines zur Datenaufnahme und -verarbeitung
• Entwicklung von Datenmodellen für die Speicherung von Daten
• Integration von Daten aus verschiedenen Quellen
• Implementierung von Data Governance- und Sicherheitsrichtlinien
• Optimierung von Datenverarbeitungsprozessen
• Bereitstellung von aufbereiteten Daten für das Reporting
• Automatisierung von Datenprozessen
• Entwicklung von Lösungen zur Skalierung von Dateninfrastrukturen
• Durchführung von Ad hoc Analysen und Plausibilisierungen
• Dokumentation in Confluence
• Code-Verwaltung in GitLab


Zur Erfüllung der oben aufgeführten Leistungen erhält der eingesetzte Erfüllungsgehilfe des Auftragnehmers Zugriff auf die folgenden Tools/Systeme:

• Dokumentationsplattform: CONFLUENCE
• Projektmanagementtool: JIRA
• Entwicklungsplattform: DB360 (AWS)
• Code-Verwaltung: GitLab


Um die Zugriffe auf die o.g. Tools/Systeme zu ermöglichen, stellt der Auftraggeber folgende zwingend erforderlichen Arbeitsmittel:

• DB User
• VDI Client (VDS D) oder Basic Workplace (BWP) Laptop, falls technisch erforderlich, inkl. MS Office 365 und VPN

MUSS Anforderungen:

• Praktische Erfahrung in der Umsetzung von Data Engineering Projekten in der AWS Cloud im Enterprise Umfeld. (In Summe mind. 3 Jahre Mitarbeit in Projekten mit Tätigkeitsschwerpunkt AWS Cloud Data Engineering im Enterprise Umfeld in der Projekthistorie nachvollziehbar)
• Hands-on Erfahrung in der Nutzung von Serverless Data Processing und Integration Technologien wie AWS Glue und Lambda (In Summe mind. 3 Jahre Erfahrung mit konkreten Serverless Data Processing und Integration Services in der Projekthistorie nachvollziehbar)
• Praktische Erfahrung in der Umsetzung von effizienten Daten-Workflows mit Apache Spark, AWS Sagemaker und Python. (Praktische Erfahrung in mind. 2 Projekten mit jeweils mind. 6 Monaten Laufzeit mit Apache Spark, AWS Sagemaker und Python in der Projekthistorie nachvollziehbar)
• Praktische Erfahrung in der Umsetzung von Berichten und interaktiven Dashboards in MS Power BI. (Praktische Erfahrung in der Umsetzung von Berichten und interaktiven Dashboards in MS Power BI.)
• Praktische Erfahrung in der automatisierten Verarbeitung von Geodaten mittels PTV Visum, OpenStreetMap und Python. (In Summe mind. 2 Jahr Erfahrung in mind. 2 Projekten mit entsprechenden Services wie Overpass API und Visum API in der Projekthistorie nachvollziehbar.)


SOLL Anforderungen:

• Sehr gute SQL-Kenntnisse. (Mind. 3 Jahre Erfahrung bzgl. des Einsatzes von SQL oder Zertifizierung im Profil erkennbar)
• Praktische Erfahrung mit der Anbindung und Aufbereitung von Instandhaltungsdaten (Mind. 1 Projekt aus dem Kontext Instandhaltung von mind. 6 Monaten Laufzeit in der Projekthistorie ausgewiesen.)
• Nachgewiesene Kenntnisse aus dem Bereich Data Engineering oder Data Science. (Zertifizierung aus dem Bereich Data Engineering oder Data Science im Profil ausgewiesen.)
• Kenntnisse aus dem Bereich Maschine Learning und MLOps. (in der Projekthistorie erkennbar.)