Data Engineer mit Fokus auf ETL Pipelines (m/w/d) gesucht

Liebes Netzwerk,


Für meinen Kunden im Medienumfeld bin ich aktuell auf der Suche nach einem (Senior) Data Engineer (m/w/d)


Rahmendaten:
Start: asap, spätestens 30.09.
Dauer: 31.12.24
Auslastung: Vollzeit

Einsatzort: Remote
Vertragsform: Freelance

Projektsprache: deutsch und englisch


Projekt: Optimierung und Migration von ETL-Pipelines

Optimierung und Migration von ETL-Pipelines für ein Tool zur Messung der Online-Performance von TV-Werbung.


Erfahrung:

* Mehrjährige Erfahrung als Data Engineer mit Schwerpunkt auf ETL-Pipelines (min. 2-3 Jahre Erfahrung)
* AI Products sucht einen qualifizierten und erfahrenen Data Engineer, der die Migration und Optimierung von ETL (Extract, Transform, Load) Pipelines in einer AWS-Umgebung leitet.
* Der ideale Kandidat sollte über tiefgehende Expertise in Python und PySpark verfügen und ein fundiertes Verständnis der wichtigsten AWS-Dienste, einschließlich S3, Glue, Athena und EMR, mitbringen. Zudem sollte der Kandidat eine starke Grundlage in Infrastructure as Code (IaC) und Continuous Integration/Continuous Deployment (CI/CD) Praktiken nachweisen können.


Aufgaben:

* Migration von Glue Jobs: Aktualisierung bestehender AWS Glue Jobs von Version 2.0 auf die neuesten Versionen, wie 3.0 oder 4.0.
* Anpassung der ETL-Datenverbindungen: Modifikation der ETL-Prozesse, um Datenquellen vom AWS Glue Catalog oder S3 zu Databricks Lake zu migrieren.
* Testen der ETL-Pipelines: Sicherstellung der Robustheit und Zuverlässigkeit der ETL-Prozesse durch umfassende Tests, einschließlich Datenvalidierung, Integritätsprüfungen, Leistungstests und automatisierte Teststrategien für ETL-Jobs.
* Cross-Account ETL Migration und Optimierung.
* Optimierung von PySpark-Workloads: Verbesserung der Leistung und Skalierbarkeit von ETL-Workloads durch Optimierung von PySpark-Jobs innerhalb von AWS Glue und EMR, unter Nutzung bewährter Praktiken zur Reduzierung der Verarbeitungszeit und -kosten.
* Wissensaustausch und Fachwissenvermittlung: Aktive Weitergabe von Wissen, Best Practices und technischen Einblicken an das interne Team während des Projekts, zur Förderung der Kompetenzentwicklung und langfristigen Nachhaltigkeit.


Must-Have:

* Umfangreiche Erfahrung in der Entwicklung von ETL-Pipelines: Nachgewiesene Erfahrung im Design, der Entwicklung und Optimierung von ETL-Pipelines unter Verwendung von Python und PySpark.
* AWS-Expertise: Tiefgehende Kenntnisse in AWS-Diensten, insbesondere S3, Glue, Athena und EMR, mit nachweisbarer Erfolgsbilanz bei der erfolgreichen Integration in ETL-Prozesse.
* Migrationserfahrung: Nachgewiesene Fähigkeit zur Migration bestehender ETL-Jobs zu AWS, mit Fokus auf Leistungsoptimierung und Kosteneffizienz.
* Expertise in Infrastructure as Code (IaC): Hohe Kompetenz im Einsatz von IaC-Tools wie Terraform oder AWS CloudFormation zur Verwaltung und Automatisierung von Infrastrukturen.
* CI/CD-Implementierung: Erfahrung in der Einrichtung und Pflege von CI/CD-Pipelines für ETL-Jobs, um nahtlose Bereitstellung und kontinuierliche Integration sicherzustellen, z.B. mit AWS CodePipeline.
* Starke Problemlösungsfähigkeiten: Fähigkeit zur Fehlersuche, Optimierung und Lösung von Problemen innerhalb der ETL-Prozesse auf effiziente und zeitnahe Weise.
* Hervorragende Kommunikations- und Dokumentationsfähigkeiten: Fähigkeit zur klaren Dokumentation von ETL-Architekturen, -Prozessen und -Wartungsverfahren sowie zur effektiven Kommunikation mit Stakeholdern.


Sie möchten sich auf das Projekt bewerben?

Bitte senden Sie Ihre Unterlagen unter Angabe Ihrer Verfügbarkeit und Stundensatzvorstellung so bald wie möglich.
Gerne können Sie auch in ein paar kurzen Sätzen Ihre Eignung und bisherige Erfahrung zusammenfassen.

Ich freue mich auf Ihre Kontaktaufnahme. Gerne melden wir uns bei Ihnen zurück, sollten die Unterlagen für eine Vorstellung in Frage kommen. Aufgrund der hohen Anzahl an Projekten ist es leider nicht immer möglich Feedback zu geben. Ich bitte dafür um Verständnis


Viele Grüße