freiberufler Senior Data Engineer auf freelance.de

Senior Data Engineer

offline
  • auf Anfrage
  • 80805 München
  • Europa
  • de  |  en
  • 26.08.2024

Kurzvorstellung

(Senior) Data Engineer mit Schwerpunkt auf data-intensive Pipelines in Azure, Python, PySpark und Databricks

Qualifikationen

  • Apache Airflow
  • Apache Iceberg
  • Apache Spark2 J.
  • Bash Shell2 J.
  • Continuous Integration2 J.
  • Databricks2 J.
  • Microsoft Azure2 J.
  • NoSQL
  • Python3 J.
  • SQL3 J.

Projekt‐ & Berufserfahrung

Senior Data Engineer
Bundesamt für Zoll und Grenzsicherheit (Schweiz), Bern
11/2022 – 10/2023 (1 Jahr)
Handel
Tätigkeitszeitraum

11/2022 – 10/2023

Tätigkeitsbeschreibung

Part of two agile teams (18 members) providing data analytics platform for customs and border security business departments. Redesigned ETL architecture for ~60 data products processing customs and personal data. Improved performance by factor of ~100. Technical lead in decision making with architects and review of Pull-Requests and tickets of 12 developers.

Eingesetzte Qualifikationen

Apache Kafka, SQL, Apache Spark, Python

Senior Data Engineer (Festanstellung)
Kundenname anonymisiert, München
1/2022 – 9/2022 (9 Monate)
Maschinen-, Geräte- und Komponentenbau
Tätigkeitszeitraum

1/2022 – 9/2022

Tätigkeitsbeschreibung

Part of agile team (~30 members) providing cloud data platform for industry-leading business departments. Designed and implemented architecture for ~30 ETL applications and APIs processing global IoT data on a terabyte scale. Deployment of various managed services in hybrid cloud setup. Enablement of client developers. Optimized storage to save ~4000€ per month.

Python, Azure, Databricks (Delta Lake), PySpark, SQL, NiFi, Shell, CI/CD, Terraform}}

Eingesetzte Qualifikationen

Apache Spark, Databricks, Bash Shell, Continuous Integration, Microsoft Azure, Python, SQL

Data Engineer (Festanstellung)
Kundenname anonymisiert, München
6/2020 – 1/2022 (1 Jahr, 8 Monate)
Maschinen-, Geräte- und Komponentenbau
Tätigkeitszeitraum

6/2020 – 1/2022

Tätigkeitsbeschreibung

Part of agile team (6 members) with goal to provide data-driven insights to end-users on globally distributed IoT data of industry-leading client. Designed and implemented architecture for ETL and machine learning applications that process data daily on a giga- and terabyte scale. Full responsibility from raw data collection over processing with machine learning to visualization. Deployment of various managed services in private network on Azure. Enablement of client developers.

Eingesetzte Qualifikationen

Microsoft Azure, Apache Spark, Databricks, Bash Shell, Continuous Integration, Python, SQL

Zertifikate

Databricks Certified Data Engineer Professional
Databricks
2023
Azure Data Engineer Associate
Microsoft
2022
Associate Developer for Apache Spark 3.0 (Python)
Databricks
2022
Udacity Data Engineering Nanodegree
2021

Ausbildung

Informatik
M.Sc.
2020
Technische Universität München

Weitere Kenntnisse

(Senior) Data Engineer mit Schwerpunkt auf data-intensive Pipelines in Azure, Python, PySpark und Databricks

Persönliche Daten

Sprache
  • Deutsch (Muttersprache)
  • Englisch (Fließend)
Reisebereitschaft
Europa
Arbeitserlaubnis
  • Europäische Union
  • Schweiz
Profilaufrufe
327
Alter
29
Berufserfahrung
4 Jahre und 5 Monate (seit 06/2020)

Kontaktdaten

Nur registrierte PREMIUM-Mitglieder von freelance.de können Kontaktdaten einsehen.

Jetzt Mitglied werden