Software-Ingenieur und Berater

8/2020 – 10/2020

Entwicklung eines datengetriebenen verteilten Backends und Verbesserung des Loggings mit der Einführung von Alerting. Gemeinsam mit einem weiteren Scala-Backend-Entwickler bestand meine Aufgabe darin, mehrere Backend-Komponenten basierend auf Scala und Akka anzupassen und zu implementieren, während komplexe Datenabhängigkeiten vereinfacht und reduziert wurden. Dabei wurden Daten aus einer externen Oracle-Datenbank mithilfe von Spark-Jobs transformiert und in die projektinterne Cassandra-Datenbank sowie Elasticsearch-Indizes geladen. Evaluation von Databricks. Das interne Datenmodell basiert auf Event-Sourcing, und Kafka-Streams wurden für die interne Kommunikation zwischen den Backend-Komponenten verwendet. Zusätzlich habe ich die Logging-Funktion verbessert und vereinheitlicht, um eine zentrale Logging-Konfiguration zu nutzen. Außerdem habe ich Kibana Alerting eingerichtet, um Laufzeitfehler und Warnungen mit entsprechender Dringlichkeit zu erkennen und Entwickler über diese Alarme via Slack-Kanäle zu benachrichtigen. Verwendete Bibliotheken wie Cats, Cats Effect, Avro, etc.

Apache Kafka, Apache Spark, Elasticsearch, Oracle Database, Scala, Server-Monitoring

7/2020 – 11/2020

Entwicklung und Betrieb mehrerer AWS Cluster für das DyCA Team (Dynamic Campaign Advertising) um auf otto.de Homepage eine effiziente und stabile Performance bei der Ausspielung von personalisierten Banners und Teasers gewährleisten zu können. Ich habe ein kleines Team unterstützt, eine fremde closed-source Software (HCL Unica Interact) für die real-time Personalisierung der Werbungen auf der otto.de Homepage möglichst stabil und performant aufzusetzen und zu betreiben. Dafür war es notwendig, die sehr manuelle und fehleranfällige technische und fachliche Deployments möglichst zu vermeiden, genauso die Beobachtbarkeit (Observability) der Run-time Performance einer closed-source Software zu ermöglichen, damit iterativ die Performance und Stabilität der Marketing-Plattform ermöglicht und technisch erklärbar wird. Abgesehen von der intensiven Arbeit mit den AWS Services und Features (EC2 mit Auto Scaling Groups und optimierten AMIs, RDS for Oracle, Lambda, CloudWatch, ELB), HAProxy und mehreren Komponenten aus dem Unica Interact Marketing Suite, habe ich mich um die Sammlung und technische Auswertung der Metriken (auch über JMX Exporter) von allen relevanten Komponenten in ein zentrales Monitoring (mit Prometheus und Grafana) gekümmert, dass von mir eingerichtet wurde. Außerdem konnte ich die entscheidende Performance-Optimierung erreichen mit der Feststellung, dass sog. External Callouts (Plugin System in der Unica Interact) entwickelt werden müssen, damit eine zufriedenstellende Performance (über 99,5% der technisch und fachlich korrekten Interact API Request) und Stabilität erreicht wird. Diese habe ich entwickelt und zusammen mit Kollegen getestet.
Aufgaben: DevOps mit Software-Entwicklung, Deployment, Troubleshooting, Koordination und Testing.

Amazon Web Services (AWS), Java (allg.), Server-Monitoring

10/2019 – 5/2020

Entwicklung der Digital Farming Plattform und diversen Microservices für Produkte xarvio™ Field Manager und Healthy Fields. In einem größerem Backend-Team (über 30 Software- und DevOps-Ingenieure) habe ich an der Entwicklung mit Java (9 und 11) und Spring Boot, Deployment in Kubernetes und Instandhaltung von über 50 Microservices gearbeitet, die eigene Daten überwiegend in Postgres speichern und miteinander über eigene REST APIs und RabbitMQ kommunizieren. Die REST APIs waren sowohl public als auch privat, die jeweils in OpenAPI spezifiziert wurden. Public API Dokumentation wurde über ReDoc generiert und statische Inhalte über Vuepress.js vervollständigt. Ich habe auch an der GraphQL API gearbeitet, die von xarvio™ mobilen Apps benutzt wurde. Einige Microservices haben S3 fürs speichern von größeren Dateien oder haben mit eigenen AWS Lambda Funktionen und externen Services (z.B. von John Deere oder Arable) kommuniziert. Die Microservices wurden in AWS deployed und mit Kubernetes orchestriert, wobei Deployments von einzelnen Microservices über Helm Charts definiert wurden. Das Testing mit Unit Tests, Integrationstests und Contract Tests über OpenAPI Dokumente und Postman (für die REST APIs) wurden kontinuierlich verbessert. Die CI/CD Pipelines wurden in Git, TeamCIty und Kotlin-basierten Skripten definiert und die Infrastruktur (in Dev und QA Umgebungen) mit ArgoCD deklarativ definiert und deployed. Application Monitoring wurde überwiegend mit in AWS laufenden ELK/Kibana und Grafana gemacht.
Kommunikation mit anderen Teams (Mobile, Web, Support und Produktentwicklung) war Teil der Arbeit.
Aufgaben: Software-Entwicklung mit DevOps, Code Reviews, Deployment, Koordination und Monitoring.

Postgresql, DevOps (allg.), Docker, Java (allg.), Spring Framework, Advanced Message Queuing Protocol, Kubernetes