
Data Engineer | DevOps Engineer | Softwareentwickler
- Verfügbarkeit einsehen
- 0 Referenzen
- 90€/Stunde
- 51503 Rösrath
- National
- de | en
- 06.05.2025
Kurzvorstellung
Qualifikationen
Projekt‐ & Berufserfahrung
8/2023 – 12/2024
Tätigkeitsbeschreibung
• Leitung der Einführung von Stackable als Kubernetes-Plattform, wodurch eine skalierbare und effiziente Orchestrierung ermöglicht wurde.
• Verantwortlich für die Migration bestehender Cloudera-Workflows und Services auf Kubernetes, was zu einer besseren Ressourcennutzung und reduzierten Betriebskosten führte.
• Aufbau und Betrieb einer hochverfügbaren Apache Airflow-Umgebung, die für automatisierte, zuverlässige und skalierbare Workflow-Orchestrierung sorgte.
• Implementierung eine CI/CD-Pipeline mit ArgoCD und GitLab, wodurch Deployment-Prozesse beschleunigt und Ausfallzeiten minimiert wurden.
• Refactoring bestehender Services mit Celery und FastAPI, was zu einer signifikanten Verbesserung der Performance und Wartbarkeit der Anwendungen beitrug.
• Implementierung einer skalierbaren Datenverwaltungslösung mit StorageGRID (S3), wodurch Datenzugriff und Speichereffizienz optimiert wurden.
Container Management, Continuous Delivery, Continuous Integration, Kubernetes, Python, Server-Monitoring
10/2020 – 3/2023
Tätigkeitsbeschreibung
• Entwicklung und Betrieb skalierbarer Recommender-Systeme in AWS, wodurch die Personalisierung und Nutzerbindung signifikant verbessert wurde.
• Konzeption und Implementierung von ETL-Strecken mit Terraform und Kubernetes, was eine automatisierte und effiziente Datenverarbeitung ermöglichte.
• Etablierung eines umfassenden Monitorings mit Grafana, wodurch Produktionsprozesse transparenter und potenzielle Ausfälle schneller identifiziert wurden.
• Zuständig für dasWorkflow-Management mit Apache Airflow, um Datenflüsse zu automatisieren und Performance zu optimieren.
• Entwicklung neuer Features für Recommender-Systeme mit Spark und Python, wodurch die Empfehlungsqualität und das Nutzererlebnis verbessert wurden.
• Unterstützung bei der Migration des gesamten Tech-Stacks von AWS zur Google Cloud Platform (GCP), wodurch Kosten gesenkt und Cloud-native Funktionen effizient genutzt wurden.
Apache Spark, ETL, Google Cloud, Kubernetes, Python, Scrum
8/2017 – 9/2020
TätigkeitsbeschreibungVerantwortlich für die Betreuung von Studierenden, fachliche Unterstützung und Mentoring, Übernahme von Vorlesungen und Prüfungsaufsicht, Koordination von Projekten und akademischen Veranstaltungen.
Eingesetzte QualifikationenBildungskoordinator, Mentor im Bildungsbereich
10/2012 – 9/2016
Tätigkeitsbeschreibung
Entwicklung eines unternehmensspezifischen CRM-Systems, Konzeption des Frontend-Designs, Implementierung eines effizienten Datenmanagements.
• Implementierung neuer Features mit C# und ASP.NET, um die Funktionalität und Benutzerfreundlichkeit des Systems zu erweitern.
• Konzeption und Entwicklung eines Monitorings mit HTML und CSS, das eine visuelle Analyse und Echtzeitüberwachung von Messdaten ermöglichte.
ASP.NET, C#, HTML, SQL
Ausbildung
Köln
Köln
Über mich
Weitere Kenntnisse
Umfassende Erfahrung in der Orchestrierung von containerisierten Anwendungen mit Kubernetes, einschließlich Cluster-Management und Implementierung von CI/CD-Workflows.
Data Engineering & ETL
Expertise in der Entwicklung und Verwaltung skalierbarer Datenpipelines sowie Datenintegration, mit Fokus auf ETL-Prozesse und effiziente Datenverarbeitung.
Cloud Plattformen
Fundierte Kenntnisse in der Arbeit mit AWS und Google Cloud Platform, einschließlich der Migration von Systemen und der Implementierung von Cloud-nativen Lösungen.
Programmiersprachen
Versiert in Python für Datenverarbeitung und Anwendungsentwicklung, sowie Erfahrung mit C# und Java für spezifische Projekte.
CI/CD & DevOps
Erfahrung in der Implementierung von CI/CD-Pipelines mit Tools wie ArgoCD und GitLab, sowie Monitoring-Lösungen für verbesserte Betriebsprozesse.
Datenbanken & Storage
Kenntnisse in der Arbeit mit PostgreSQL, S3 und StorageGRID für effizientes Datenmanagement und -speicherung.
Machine Learning & Big Data
Erfahrung in der Entwicklung von Recommender-Systemen und der Nutzung von Big Data Technologien wie Spark für Datenanalyse und -verarbeitung.
Persönliche Daten
- Deutsch (Muttersprache)
- Englisch (Fließend)
Kontaktdaten
Nur registrierte PREMIUM-Mitglieder von freelance.de können Kontaktdaten einsehen.
Jetzt Mitglied werden