Senior DevOps Engineer / Linux Systemadministrator

11/2020 – 12/2020

Code-Review von Puppet-Code für das Paket-Upgrade eines Minio-S3-Storages
Simulation des Ausfalls von Kubernetes-Clusterknoten in mehreren Kubernetes-Clustern
Evaluation mehrerer zu deployen geplanter LoadBalancer-Szenarien für den Kube-api-Server (HAProxy, NGinX, Keepalived, envoy oder kube-vip container)
Code-Review der Dokumentation diverser Build-Chain für das Infrastruktur-Deployment und Zusammenstellung von Maßnahmen zur Verbesserung der Gesamtdokumentation
Überprüfung eines dreistufigen Firewall-Konzepts (HW-Firewall-Regeln, SecurityGroups in OpenNebula, Kubernetes NetworkPolicies)
Anpassen von OpenNebula Puppet-Manifesten sowie Ruby DSL-Typen und -providern zum Erstellen von Netzwerkadressbereichen, deren IP-Bereiche vom OpenNebula DHCP-Server zum Bereitstellen statischer IP-Adressen gehalten werden
Setzen von Kubernetes Cluster Join Tokens auf Null TTL und folgliche Mitigation von Race-Conditions beim Cluster Node Join

Firewalls, Load Balancing, Puppet, DHCP, Kubernetes

10/2019 – 3/2020

Service-Mesh-Deployment mittels Istio zur sicheren und policybasierten Weiterleitung des Datenverkehrs in und aus Kubernetes
ArgoCD-Kubernetes-Deployment auf AKS (Azure Cloud)
Fehlerbehebung bei K8s-Clustern (cgroups-Deploymentanpassungen)
Festsetzen korrekter Einstellungswerte für das Deployment von Kubernetes-Clustern auf RHEL 7 mittels eines kubespray-Ansible-Playbooks
Skalieren von Kubernetes-Clustern mit Kubespray
Entwickeln von Istio-Ingress-Gateway Kubernetes Manifesten
Debuggen von Kubernetes-Netzwerkproblemen
Evaluation von Möglichkeiten, Protokolldateien des Dynatrace OneAgent zu logzurotieren (K8s-helm-hooks / Lifecycle-Skripte, Ansible-Playbook, Dynatrace-Funktion für interne Protokollrotation).
Anpassen von K8s-Helmcharts des Grafana-URL-Aufrufsubpfades mit Istio
Bereitstellung von Istio Kiali, Grafana, Prometheus und Jaeger Dashboards in Kubernetes
Integration der in Istio mitgelieferter Grafana- und Prometheus-Instanzen in eine bestehende Kundeninstallation (scrape_configs, secrets)
Ermitteln einer Möglichkeit, HostPort-Konfigurationen in ein Deployment-Template eines Helm-Charts des Istio-Ingress-Gateways zu schreiben
Posten und Weiterverfolgen spezifischer Kubernetes- und Istio-Probleme bei Stackoverflow
Entwickeln eines Helm-Templates, um eine Hostport-Konfiguration zu einer Instanz eines Istio-Ingressgateways mithilfe eines IstioControlPlane-Konfigurations-Overlay-Manifest hinzuzufügen
Verfolgen von Änderungsanforderungen und Standardänderungsprozessen für Upgrade-Prozesse (OS, K8s)
Fehlerbehebung bei Kubernetes Pod-Evictions aufgrund von K8s-Tolerations / Taints (Ressourcenprobleme)
Untersuchung von OOMKilled-Problemen mit bestimmten Pods in Kubernetes
Unterstützung zur Erweiterung von Kubernetes-Clustern
Deaktivieren von PodDisruptionBudgets im Istio-Deployment für ein Kubernetes-Upgrade
Migration mehrerer Confluence- und Jira-Instanzen von on-premise zu Kubernetes (Lösen von Backup-Dump-Import-Problemen, Verifizierung der Datenbankparameter der Confluence- und Jira-Datenbanken in MSSQL, Lösen von Icon Display Problemen mit Internet Explorer 11 und Apache Reverse Proxy)
Erstellen von Prometheus-Alertregeln zur Überwachung von Containerspeicherauslastungen pro K8s-Knoten und Prometheus-Alertmanager-Eskalationen in einem Microsoft Teams-Kanal und Konfiguration der Nachrichtenformate
CI/CD Pipelines in Azure DevOps

Continuous Integration, Confluence, Jira, Microsoft Azure, Kubernetes

4/2019 – 6/2019

- Erstellen eines Virtual Machine Scale Set in Microsoft Azure für das Deployment der Atlassian Confluence und Jira Datacenter Version sowie Migration von der Confluence- und Jira-Cloud-Version
- Hinzufügen von Netzwerkadaptern in das Virtual Machine Scale Set unter Benutzung der Windows-PowerShell für den unvermittelten Application Link (Proxy) zwischen Confluence und Jira, da der Azure Application Gateway von Atlassian für den Application Link nicht unterstützt wurde
- Evaluation einer Jira-issue-Synchronisation mit den Plugins Backbone Issue Sync und Orasi ConnectAll zwischen zwei Jira-Instanzen unter Benutzung eines HTTPS-Proxies
- Konfiguration einer Jira-Gitlab-Synchronisation
- Debuggen von Jira ScriptRunner Plugin Problemen
- Suche eines Plugins für Jira, das ein Readonly-Custom-Feld in den Edit- und Transition-Screens einer Workflow-Transition erhöht (Evaluation des ScriptRunner scripted fields)
- Administration einer Kubernetes Microservice basierten Architektur
- Unterstützen der Tester im Setup ihrer Testing-Toolchain (Kubernetes-CLI-Tools, Postman REST-calls )
- Mitarbeit im Aufbau eines Rechenzentrums (Equinix), um die Kubernetes-Workload-Applikationen der deutschen PKW-Maut-Erhebung zu betreiben
- Managen von Ressourcen in der Azure Cloud mittels Azure CLI

Confluence, Jira, Windows Powershell, Microsoft Azure, Kubernetes

7/2018 – 11/2018

- Einrichten von Kubernetes-Clustern mit Kubespray/Ansible, Konfigurieren des Netzwerks mit Netzwerk-Plug-in Flannel und Calico
- Debugging von Netzwerkproblemen im Kubernetes Netzwerk-Layer
- Erstellen eines IPSec-VPN-Endpunkt mit dem kubernetes strongswan-Container und testen dieser Lösung mit einer pfSense-Appliance auf Amazon AWS auf dem anderen VPN-Endpunkt
- Erstellen eines Cloud-Berichtskataloges, um Cloud-Anbieter auf ihre Funktionen hin zu überprüfen/vergleichen
- Bereitstellen des Elasticsearch-Curators mit Hilfe von Kubernetes (Bereitstellung, ConfigMaps), Bereitstellen von Action-Lists für den Curator
- Bereitstellen und Konfigurieren von NginX Ingress Controller- und Ingress-Ressourcen auf Kubernetes, die Elasticsearch Kibana mit grundlegenden HTTP-Authentifizierungs- und TLS-Zertifikaten bereitstellen
- Entwickeln und Implementieren von RBAC-Regeln in Kubernetes für nicht-privilegierte Benutzer
- Erstellen von Dokumentation für Ingress Controller auf Kubernetes
- Entwerfen einer Cloud Native Virtual Appliance, die Kubernetes-Cluster
automatisch über eine WebUI bereitstellt und verwaltet
- Aufsetzen von Prometheus und Grafana auf Kubernetes-Clustern mit Hilfe von helm charts
- Automatisieren der VM-Bereitstellung unter Benutzung von Ansible und Morpheus (Multi-Cloud)
- Arbeiten mit verschiedenen Cloud-Anbietern wie Amazon AWS, Microsoft Azure, Open Telekom Cloud, SysEleven Cloud, IBM Cloud
- Mounten von physischen Volumes (PersistentVolumeClaims) in Kubernetes, um Persistenz im Prometheus Grafana-Speicher zu erreichen
- Einrichten einer Überwachung auf einem Slack-Kanal vom Prometheus-
Alertmanager und Erstellen von benutzerdefinierten Benachrichtigungen
(Kubernetes)
- Bereitstellen von Cloud-Instanzen in Microsoft Azure mit Hilfe von Terraform und Ansible
- Schreiben von parametrisierten Wrapper-Skripten (Bash) für Ansible-Playbook-Aufrufe und kubectl-Aufrufe für die Ingress-Konfiguration in Kubernetes

Ipsec, Transport Layer Security, Google Cloud, Ansible, Netzwerkadministration (allg.), Microsoft Azure, Amazon Web Services (AWS), Kubernetes

11/2017 – 6/2018

- Migration bzw. Neuaufsetzen einer Ruby on Rails Webapplikation mit MySQL und Redis Backend (Erzeugen von SSL Zertifikaten, Konfiguration des NginX Passengers,
- Wiederherstellen der Daten aus dem Google cloud storage backup, Ruby Version Manager, Deployment der Applikation mit Capistrano, Aktualisieren der Dokumentation)
- Erweiterte Konfiguration von MySQLd
- Erweitern einer Deployment-Lösung für Docker und Kubernetes um weitere Container (Kubernetes-Definitionen mit Umgebungsvariablen, Start-Switch in Docker-Einsprungsskripten)
- Setzen von CPU-Requests und Limits in Kubernetes-Deployment-Manifesten in einem eigenen Kubernetes-Deployment-Tool
- Analyse und Optimierung der Docker-Container-Größe und Build-Geschwindigkeit (Docker Image Kompression, Ausschalten der Installation von ruby gems für Development- und Test-Umgebungen in der Production-Umgebung sowie Ausschalten der Installation von RI und RDOCS Dokumenten bei der ruby gems Installation in der Container-Provisionierung)
- Einrichten von SMS- und E-Mail-Versand in einer Ruby-on-Rails Anwendung mittels Essendex und Google Mail auf Google Kubernetes Engine
- Kompilieren und Bauen von Debian Paketen von nginX mit u.a. HTTP2, Brotli und Phusion Passenger Modulen sowie Erstellen der Dokumentation
- Installation des Monitis Monitoring Agents auf Linux Cloud Instanzen
- Skriptbasiertes Down- und Upscaling von Google Kubernetes Clustern sowie skriptbasiertes automatisches Löschen von Container-Images
- Erstellen von Kubernetes Definitionen zum Betrieb einer Ruby-on-Rails Applikation auf der Google Kubernetes Engine mit Google Cloud Storage FUSE-shared foldern
- Erstellen von Kubernetes-LoadBalancer-Definitionen mit SSL-Terminierung
- Optimierung der Build-Geschwindigkeit sowie Größe von Docker-Containern (Dockerfile, Layer, Provisionierungs-Skripte)
- Sicherheitsbetrachtungen und Sicherheitsmaßnahmen auf Ubuntu-Linux-Cloud-Instanzen
- Reparieren der Provisionierung einer Ruby-On-Rails-Applikation auf vagrant
- Umstellen der MySQL-Backups auf Google Cloud Storage sowie Anpassen von Datensyncs (MySQL-Dumps und Rails-Assets) mittels Bash-Skripten nach Serverumzug
- Erstellen von (Notfall-)Deployment-Guides
- Upgrade und Migration von ruby gems einer Ruby-on-Rails Applikation sowie Test auf Funktionalität
- Erweiterung der Funktionalität eines dedizierten Deployment-Tools, das in Ruby geschrieben wurde, um mehrere Google Cloud Platform-Projekte zu unterstützen
- Erstellen von Shell completions für die Bash, Fish und ZShell für ein dediziertes Commandline-Deployment-Tool
- Konfiguration und Troubleshooting der Development-Umgebungen in Vagrant
- Erweiterung von rspec-Konfigurationen und Build-Coverage / CI
- Upgrade der Ruby-Version einer Ruby on Rails Applikation unter Benutzung des Ruby Version Managers

Mysql, Debian Linux, Google Cloud, Kubernetes, Ruby on Rails

5/2017 – 8/2017

- Migration / Integration einer bestehenden Puppet-Installation in eine Neue
- Abbilden einer (existierenden) hieradata-Struktur in eine Neue
- Migration von Node Classifier Konfigurationen (ENC) mit Klassen, Tiers, Standort usw.
- Abbilden einer (existierenden) Modulstruktur in eine neue (Splitten in Organization und tier)
- Verschlüsselung von hieradata unter Benutzung von eYAML
- Migration statischer Puppet Nodedefintionen in ENC-Konfigurationen
- Testen der Puppet-Manifeste mit dem Future Parser für Versionsupgrade auf 4.x
- Puppetlabs r10k-Konfiguration sowie r10k-Deployment
- Migration, Merging und Konsolidierung von Puppet-Klassen vom alten ins neue System
- Erstellen neuer Hierarchien in Hiera für das Nachschlagen verschiedener externer Hiera-Werte
- Umgang mit Problemen interner Ubuntu APT-Spiegel
- Weiterentwicklung eines Puppet-Base-Server-Profils
- Weiterentwicklung eines Puppet-MySQL-Datenbank-Profils
- Extraktion von MySQL-Anwendern, Passwörtern und Grants aus MySQL-Dumps mittels selbstentwickeltem Skript (BASH, AWK) und Servern (Replications-User) und Abbildung dieser in hieradata (über mehrere Tiers), Entwicklung und Übernahme von Puppet-Code zum Ausrollen selbiger
- Bewertung / Konzeption des Tests bzw. der Verifikation der neuen Puppet-Codebasis von DB-Server-Knoten mit exakt gleich aufzusetzender MySQL-DB-Nodes mittels dem zu migrierenden Puppet-Server mittels eines temporären Puppet-Servers
- Vergleich zu migrierender Puppet-Klassen für die Konfiguration von Backends einer Top-Level-DNS-Domain-Plattform für die Integration bestehenden Puppet-Codes bzw. Nutzung von bestehendem Puppet-Code zur Konfiguration von Backends einer anderen Top-Level-DNS-Domain-Plattform

Mysql, Ubuntu, Sed (Programming Language), Bash Shell, Puppet, DNS

1/2017 – 2/2017

- Migration von PHP5 nach PHP7 auf Debian Linux unter Benutzung von Puppet (dotdeb Repository, Konfigurationen für PHP-Module)
- Administration von JIRA Workflows, Custom fields, Screens
- Erhöhung des Festplattenspeichers von VMWare VMs und Linux-Dateisystem (LVM)
- Installation von Centreon Monitoring zur Icinga-Konfigurationsgenerierung
- Installation von ruby gems auf Debian Linux
- Icinga-Monitoring Setup für Server / VMs
- Schematischer organisierter Reboot von Servern / VMs nach Kernel-Upgrade
- Verwaltung von HA für NFS, Virtual IP (drbd, corosync, pacemaker)
- Migration von Puppet nach Ansible als Konfigurationsmanagementsystem (Einrichtung der Ansible-Umgebung, Umschreiben der Puppet-Manifeste nach
Ansible)

Ansible, Debian Linux, Jira, Puppet

9/2016 – 11/2016

- Erstellung von Puppet-Rollen für Nagios und collectd in einem existierenden Rollen/Profil-Konzept, Analyse und Nutzung von bestehenden Puppet-Modulen
- Definition von Datenformatstandards für den Export von öffentlichen SSH-Schlüsseln via eines RestAPI-Information-Service, der die Schlüssel aus dem Active Directory holt, um von Puppet mittels hiera_http importiert zu werden
- Entwicklung eines Skripts mit einer Sicherheitslogik und dessen Deployment via Puppet, um eine CSV-Datei mit öffentlichen SSH-Schlüsseln zu erzeugen, um dann ins Active Directory zu importieren
- Assistenz in der Implementation von Puppet-Klassen auf SUSE Linux Enterprise Server
- Anbindung von SUSE Linux Enterprise Servern an Puppet
- Erstellung von Puppet Manifesten und Custom Facts für die Implementation von dynamischen Nagios Disk Checks (Implementierung von Prozent- und absoluten Schwellen für Disks, iterative Mountpoint- und Größendaten als Hash im Fact, Puppet Template Interation, Steuern und Abstimmen des korrekten Setzens von Puppet-Konfigurationseinstellungen (stringify_facts und future parser) in einer
alten Puppet Installation
- Implementierung von Active Directory Authentifizierung von Linux Hosts unter Benutzung von Puppet

Active Directory, Nagios, Puppet, Representational State Transfer (REST)

4/2016 – 5/2016

- Deployment von CentOS-VMs (VMWare vCenter) unter Benutzung von Ansible
- Deployment von Tomcat-Instanzen mit Ansible unter Benutzung von
unterschiedlichen Konfigurationen (JNDI datasources)
- Entwicklung von Jenkins Jobs für das Tomcat Application Deployment
- Entwicklung von Graphite und statsd Ansible Rollen
- Deployment von Apache, Graphite, NodeJS, collectd und statsd unter Benutzung von Ansible
- Deployment von Apache Solr-Instanzen unter Benutzung von Ansible
- Erstellung von parametrisierten Jenkins Deployment Jobs für das Blue/Green Deployment von Apache Solr-Cluster Inhalten (data importer, replication)

Jenkins, VMware vCenter, Ansible, Apache Solr

3/2016 – 3/2016

- Konfiguration von HAProxy für ein Webbackend (backend, rewrite)
- Evaluation / Test einer Icinga2, Graphite, Grafana Installation

Server-Monitoring, Web Services

6/2015 – 11/2015

- Mitarbeit in einem Migrationsprojekt für die Dienste NTP, SSH, Apache, Tomcat, Build services/CI und Erstellung von Diensten von einem Rechenzentrum zu einem anderen unter Benutzung von dynamischer Provisionierung von Hosts, Diensten und Applikationen
- Implementierung diverser Puppet Module für bestimmte Dienste (z.B. NTP, User und Group management, SSH key management, Package deployment, sshd Konfiguration, sudo, Python PIP package management)
- Implementierung und Erweiterung von Betriebssystemprovisionierungsprozessen (Kickstart, Vagrant, Foreman, Puppet, Ansible)
- Entwicklung und Deployment von Icinga2 Monitoring Infrastruktur und
Basissystem-, HTTP, JMX, ActiveMQ und Oracle Datenbank Checks mit Ansible
- Implementierung/Import/Anpassung und Ausführen von Ansible Playbooks für die Dienste Postfix MTA, ActiveMQ, Atlassian Fisheye
- Einrichtung von Zimbra Collaboration mit Mail Routing, Alias- und Filterregeln für mehrere Domains

Apache HTTP Server, Apache Tomcat, Postfix, Python, Ansible, Puppet, SSH (Secure Shell)

2/2015 – 5/2015

- Security Patch management von SUSE Linux Enterprise Server und Debian Linux Server Systemen
- Service monitoring mit Nagios/Icinga
- VMWare vCenter Management
- Networking
- Entwicklung von Nagios/Icinga Plugins für das Monitoring des Systempatchlevels
- CVS-Server Verwaltung
- Debian Package Repository Mirroring
- Betrieb von Java CLI Applikationen

Debian Linux, Nagios, Concurrent Versions System, Java (allg.), Netzwerkadministration (allg.)

11/2013 – 12/2013

- Analyse des Fehlens von SSL Unterstützung in der Software Varnish Cache
- Recherche zur Problematik fehlerhaften Bewertens der Entscheidung der Generierung von HTTPS-Seiten in Magento E-Commerce
- Aufsetzen eines SSL HTTP Proxy Servers (nginx) vor einem Varnish Cache, der sich vor einer Magento E-Commerce Installation (Apache HTTP Server) befindet
- Setzen eines http Headers im SSL Proxy, zur Markierung der Verbindung von HTTPS
- Einstellen einer Auswertung des HTTP-Markierungsheaders in der
Webserverkonfiguration der Magento E-Commerce Installation
- Konfiguration eines Fail-over Backend Serverpools im HTTP SSL Proxy für Varnish Cache und Magento Webserver

Transport Layer Security, Apache HTTP Server, Magento

10/2013 – 2/2014

- Upgrade eines Linux Server Systems mit Diensten Apache, MySQL, PHP und Postfix, AWStats in virtualisierter Umgebung (Linux VServer) inklusive
Netzwerkkonfiguration (inkl. iptables)
- Kompatibilitätstest einer Webhosting-Management-Umgebung auf Basis von VHCS2
- Kompatibilitätstest von PHP-Webapplikationen für eine neuere PHP-Version auf FCGI-Basis
- Installation von PHP mittels FCGI
- Administration von Sicherheitskomponenten wie z.B. fail2ban und Spam Scanner
- Administration eines Postfix-Emailserver / Spamprobleme

Mysql, Apache HTTP Server, Postfix, PHP

6/2013 – 7/2013

- Konsolidierung und Überarbeitung mehrerer Varianten von Deploymentskripten für das Rollout von E-Commerce-Seiten (Apache2, Tomcat 6, Load Balancing, MySQL, bash)
- Normalisierung der Deploymentlogik für verschiedene E-Commerce-Auftritte unter Abbildung der Betriebsinstanz und Mandaten (Ruby DSL, Hiera/YAML, Ruby Templates)
- Berichtserstellung der Analyse konfigurationsabweichender Instanzen von tomcatbetriebenen Webplatformen (Connector flags, Tuningparameter, Ressourceparameter etc) sowie Apache httpd Konfigurationen (Vhosts SSL+non-SSL, mod_balance)
- Session Replikation in Tomcat

Mysql, Apache HTTP Server, Apache Tomcat, Load Balancing, Bash Shell, Puppet

1/2013 – 4/2013

- Verwaltung von Linux Servern in mehreren Rechenzentren
- Optimierung und Erweiterung des Toolsets für automatisierte Konfiguration von Diensten und Applikationen (Apache, Icinga, MySQL, iptables, Postfix, Glassfish, PHP)
- Dokumentation und Standardisierung von Konfigurationen (Apache, LDAP, syslog)
- Definition einer Betriebsumgebung für den Betrieb des Scala Frameworks (Linux, MySQL, Scala Framework, Firewalling/Networking)
- Security Analyse auf Basis von PCI DSS
- Interne und rechenzentrumlokalisierte Netzwerke (Ethernet, Internet Protokoll), Komplexe Firewallarchitektur aufgrund Sicherheitsklassifizierung (Speicherung Zahlungsinformationen)
- VPN
- Virtualisierung (KVM)
 SELinux

Mysql, Firewalls, Pci DSS, Apache HTTP Server, Postfix, Scala, VPN, KVM (Kernel-based Virtual Machine), PHP

4/2012 – 7/2012

- Analyse der Überarbeitung einer nichtstandardskonformen Puppet-Installation
- Erstellung einer Anforderungspezifikation zum strukturierten Betrieb und Workflow bzw. Standardisierung der Puppet-Konfigurationsmanagementumgebung (Strukturierung und Deduplizierung/Reduktion von Code neben Anwendung von
dateniterativen Modellen, Applikation von Code-Standards gemäß Puppet-Spezifikation, Deployprozess und Release-Management)
- Entwicklung einer an Puppet-Standards orientierenden Puppet-Klassenstruktur
- Konzeptionierung und Prototypisierung eines Deployprozesses auf Basis von Bash und git (Branches für Instanzen)
- Refactoring Puppet-Code, Migration in Puppet-Module,
- Analyse Puppet/Ruby-Bugs und Ableitung von Schlussfolgerungen
- Erstellung von datengestützten Puppet-Klassen (bspw. für iterativen Rollout von Konfigurations-Entitäten)
- Planung eines automatisch gesteuerten Puppet-Versionsupgrades
- Projektplanung
- Schulung und Übergabe an Mitarbeiter
- Übernahme von Tagesgeschäft Systemadministration

Puppet

2/2012 – 3/2012

- Betrieb von open-source basierten Serverumgebungen (Linux, MySQL, LDAP, Kerberos, Jenkins CI, Tomcat, Apache)
- Implementierung von IP-Adresszuweisungen und Firewallregeln in Puppet
- Abbildung und Implementierung von DNS-Einträgen in Puppet
- Administration von virtualisierten Servern unter KVM

Firewalls, Apache HTTP Server, Apache Tomcat, Jenkins, Puppet, KVM (Kernel-based Virtual Machine)

5/2011 – 6/2011

- Integration und Migration von Staging und pre-staging Umgebungen von
Cloud Infrastruktur (Linux, KVM, build processes, DNS, LDAP, Apache,
PHP, PostgreSQL)
- Planung der Migration von Cloud Testing und Staging Infrastruktur von einem Büroserverraum und Diensten in ein Rechenzentrum
- Serverkapazitätsplanung Rechenzentrum
- Überarbeitung von IT Dokumentation

Postgresql, Apache HTTP Server, DNS, KVM (Kernel-based Virtual Machine), PHP, Schreiben von Dokumentation