DevOps, Linux, Postgres, Elasticsearch,OpenSearch, Check_mk, java, etc.
- Verfügbarkeit einsehen
- 0 Referenzen
- 90€/Stunde
- Bad Füssing
- DACH-Region
- de | en
- 09.10.2024
Kurzvorstellung
-Linux (sowie andere Technologien: Apache, Nginx, HAProxy, Netzwerktechnik etc.)
-RDBMS (PostgreSQL, Oracle), Migration
-DevOps (Puppet, Ansible etc.), Monitoring
-Elasticsearch, OpenSearch, Logstash
-Hadoop
-EasyOlap
Qualifikationen
Projekt‐ & Berufserfahrung
1/2024 – offen
Tätigkeitsbeschreibung
Als Architekt war ich verantwortlich für sowohl das Design als auch die Implementierung der ADSB-Archive.com-Plattform, die darauf abzielt, frei ausgestrahlte Luftverkehrsdaten der globalen Gemeinschaft zugänglich zu machen. Die ADS-B-Technologie (Automatic Dependent Surveillance-Broadcast) ermöglicht es Flugzeugen, kontinuierlich wichtige Daten wie Standort, Höhe und Geschwindigkeit zu senden. Diese Informationen werden von Tausenden Freiwilligen weltweit gesammelt und ergeben einen umfassenden Datensatz, der jedem frei zur Verfügung steht.
Ich habe eine robuste Architektur für die Datenspeicherung und -verarbeitung entwickelt, die alle Anforderungen dieses groß angelegten Projekts erfüllt. Das System ist darauf ausgelegt, die enorme Menge an Daten effizient zu verwalten—etwa 65 Millionen ADS-B-Nachrichten pro Tag, mit einem monatlichen Datenvolumen von über 200 GB (komprimiert). Diese Architektur unterstützt die Echtzeitverarbeitung und langfristige Archivierung globaler Luftverkehrsdaten für Forscher, Luftfahrtenthusiasten und Pädagogen.
Verwendete Technologien:
Hadoop & HBase für verteilte Speicherung und Verarbeitung großer Datensätze
Java, Tomcat, Eclipse, Maven, Gradle für die Backend-Dienste
GitLab für Versionskontrolle und CI/CD-Pipelines
Nginx REST API für effiziente Datenverarbeitung und Kommunikation
Docker für Containerisierung und Plattform-Portabilität
OpenSearch & Check_mk für Echtzeitüberwachung und Log-Analyse
VPN für sichere Datenübertragung
Wesentliche Errungenschaften:
Entwurf und Implementierung einer Architektur, die große Mengen an Luftverkehrsdaten mit nahtloser Skalierbarkeit und Zuverlässigkeit handhaben kann.
Erstellung eines Systems für effiziente Datenverarbeitung, das sicherstellt, dass alle gesammelten Daten sicher gespeichert und für Analysen und zukünftige Nutzung bereitstehen.
Unterstützung der globalen Datenerfassung mit Archiven, die für Forschung, Bildungsprojekte und öffentliche Nutzung offen sind.
Integration automatisierter Überwachungs- und Leistungsanalysetools, um die optimale Leistung und Sicherheit der Plattform zu gewährleisten.
Apache Hadoop, DevOps (allg.), Docker, Elasticsearch, Embedded Linux, ETL, Java (allg.), Linux Entwicklung, Nginx, Openvpn, Server-Monitoring
10/2021 – 12/2023
Tätigkeitsbeschreibung
Bei der Deutschen Börse habe ich eine maßgeschneiderte Plattform zur Verarbeitung von Logdaten und Metriken entwickelt. Diese Plattform nutzt Technologien wie OpenSearch und Prometheus/Grafana und erfüllt alle spezifischen Kundenanforderungen. Zu den wichtigsten Funktionen der Plattform gehören deklarierte Sicherheitsmechanismen, automatisierte Backups in S3 und der automatische Import von Dashboards über ConfigMaps. Sie ist in der Lage, sowohl Datenquellen aus Kubernetes/Openshift-Umgebungen als auch externe Datenquellen zu verarbeiten.
Meine Aufgaben in diesem Projekt umfassten:
Architekturplanung der Plattform
Entwicklung und technische Umsetzung
Koordination des Teams und Beratung der Kollegen
Verantwortung für die Konzeption und Weiterentwicklung der Plattform
Verwendete Technologien: OpenSearch, Prometheus, Kubernetes/Openshift, Helm, Jenkins, Java, Docker, Git, Eclipse, Opendistro, Kibana, fluentd, minio und nginx.
DevOps (allg.), Bash Shell, Docker, Elasticsearch, Java (allg.), Jira, Nginx, Openshift, Red Hat Enterprise Linux (RHEL)
5/2020 – 8/2021
Tätigkeitsbeschreibung
DevOps/Berater im Bereich Elasticsearch/OpenSearch
Aufbau und Optimierung einer CI/CD-Pipeline auf Basis von OpenShift Enterprise
Automatisierung der Bereitstellung von Umgebungen und Anwendungen auf der OpenShift-Plattform
Erstellung von Konzepten und Implementierung von OpenDistro/OpenSearch Elasticsearch unter Berücksichtigung kundenspezifischer Sicherheitsanforderungen
Durchführung von Fehleranalysen und Implementierung von Maßnahmen zur kontinuierlichen Verbesserung
Unterstützung des internen Datenbank-Teams bei der Einführung und Nutzung von PostgreSQL
Schulung des Projektteams in der entwickelten Architektur und den verwendeten Technologien
DevOps (allg.), Elasticsearch, Openshift, Postgresql, Python, Red Hat Enterprise Linux (RHEL)
11/2019 – 2/2020
Tätigkeitsbeschreibung
Automatisierung eines Software-Produkts und Aufbau eines ELK Stacks in einer SAS Umgebung
Entwicklung eines Automatisierungsplans für die Kunden-Software und Plattform
Betreuung der fortlaufenden Automatisierung der Plattform durch die Implementierung neuer Features und Erstellung eines MVP
Analyse des bestehenden ELK-Stacks mit Fokus auf Performance und Sicherheitsanforderungen, angepasst an die Bedürfnisse des Kunden
Gestaltung und Implementierung von ETL-Prozessen in die laufende ELK-Stack-Umgebung
Beratung und Schulung des Entwicklungsteams hinsichtlich zukünftiger Infrastruktur-Automatisierungsfeatures
Ansible, DevOps (allg.), Docker, Elasticsearch, Git, Java (allg.), Jenkins, Nginx, Red Hat Enterprise Linux (RHEL)
4/2018 – 9/2019
Tätigkeitsbeschreibung
Administration und Weiterentwicklung der E-Commerce-Plattform-Infrastruktur
Aufbau und regelmäßige Aktualisierung des Monitoring-Systems
Administration des Kubernetes-Clusters und weiterer Middleware-Komponenten
Durchführung von Fehler- und Performance-Analysen sowie Implementierung von Optimierungsmaßnahmen
Anpassung und Erweiterung der Continuous Integration/Deployment-Umgebung und Automatisierung auf Ansible-Basis
Aktualisierung des bestehenden ELK-Stacks zur Durchführung notwendiger Log-Daten-Analysen
Implementierung eines hochverfügbaren und leistungsstarken Webservers für die Bereitstellung statischer Daten an Kunden
Durchführung der Storage-Migration
Koordination der Aufgaben zwischen verschiedenen IT-Abteilungen
Beratung der Entwickler-Teams und Wissensvermittlung an Kollegen
Ansible, Apache Tomcat, DevOps (allg.), Docker, Elasticsearch, Jenkins, Jira, Nginx, OpenSuse, Oracle-Anwendungen, Postgresql, Server-Monitoring
9/2016 – 2/2018
Tätigkeitsbeschreibung
Migration einer bestehenden Suchplattform von Oracle auf die Open-Source-Datenbank PostgreSQL
Aufbau der Anwendungsarchitektur mit Volltext- und geografischer Suche auf PostgreSQL
Erstellung und Implementierung eines Konzepts zur Replikation zwischen Oracle und PostgreSQL sowie mehreren PostgreSQL-Datenbanken
Entwicklung und Implementierung eines Sicherheitskonzepts für die Anwendung
Denormalisierung von Datenmodellen zur Performance-Optimierung
Beratung und Schulung interner Mitarbeiter in Bezug auf CI/CD, Jenkins, GIT und Entwicklungsprozesse nach Scrum
Unterstützung des Teams bei Fragen zu Continuous Deployment und Qualitätssicherung
DevOps (allg.), Datenbankentwicklung, Datenmodelierung, Vermessung, Git, Java (allg.), Jenkins, Jira, Linux Entwicklung, Linux (Kernel), Oracle-Anwendungen, Postgresql
1/2016 – 5/2016
Tätigkeitsbeschreibung
Administration und Weiterentwicklung von Online-Plattformen auf Magnolia CMS-Basis
Deployment und Konfiguration von Kundenplattformen basierend auf Magnolia CMS
Durchführung kontinuierlicher Fehler- und Performance-Analysen sowie Implementierung von Verbesserungsmaßnahmen
Administration und Betrieb verteilter Anwendungen
Erweiterung des Monitoringsystems und ELK-Stacks zur Erfassung neuer Metriken
Entwicklung einer neuen Plattform-Architektur mit Fokus auf:
Hochverfügbarkeit
100% Skalierbarkeit
Aufbau einer eigenen Zertifizierungsstelle inklusive Zertifikatsmanagement
Docker, Elasticsearch, Java (allg.), Linux Entwicklung, Openvpn, Oracle Secure Global Desktop (SGD), Scrum, Server-Monitoring, Server Administration
4/2014 – 8/2015
Tätigkeitsbeschreibung
Datenbank-Migration von Oracle auf PostgreSQL im Rahmen des Elster-Projekts des Bundeszentralamts für Steuern
Beratung und Koordination des Kunden und dessen Software-Lieferanten bei der Migration von Daten und Anwendungen auf PostgreSQL
Aufbau und Gestaltung mehrerer PostgreSQL-Cluster unter Berücksichtigung erhöhter Sicherheitsanforderungen
Durchführung der Datenmigration von Oracle zu PostgreSQL, einschließlich Koordination mit den Software-Lieferanten des Kunden
Konfiguration von Backup- und Monitoring-Prozessen auf PostgreSQL-Basis
Kontinuierliche Fehler- und Performance-Analysen sowie Implementierung von Verbesserungsmaßnahmen
Entwicklung und Umsetzung eines dezentralisierten Monitoring-Systems für das gesamte Elster-Projekt (ca. 500 Server und Netzwerkgeräte)
Automatisierung der Installation von PostgreSQL-Datenbanken und des dezentralisierten Monitoring-Systems
DevOps (allg.), Linux (Kernel), Oracle-Anwendungen, Postgresql, Puppet, Server-Monitoring, Server Administration, Sicherheitskonzept
11/2012 – 9/2013
Tätigkeitsbeschreibung
Administration und Betrieb des IPTV-Content-Meta-Lookup und Suchsystems (CMLS):
Siehe Kerntätigkeiten unter „Administration und Betrieb des OASIS-Suchsystems“
Entwicklung und Durchführung von Performance-Tests zur Evaluierung der neuen CMLS-Architektur
Erstellung eines Konzepts und Implementierung von Analyse-Tools auf Basis des Nagios-Servers
Analyse von Apache Access-Logs zur Erfassung von Metriken wie durchschnittliche Antwortzeiten, Anzahl der Anfragen und QPS
Monatliche Auswertungen und Berichterstellung
Visuelle Darstellung der Ergebnisse über das Nagios-Monitoring-System
Analyse von kritischen und Warnzuständen mit Weiterleitung an den Nagios-Server
DevOps (allg.), Apache Tomcat, Java (allg.), Mysql, Nginx, OpenSuse, Oracle-Anwendungen, Postgresql, Server-Monitoring, Apache Solr
4/2011 – 10/2012
Tätigkeitsbeschreibung
Haupttätigkeiten:
Administration und Betrieb bestehender Workflows, Systemmeldungen sowie angebundener Schnittstellen (SOAP, REST)
Kontinuierliche Durchführung von Fehler- und Performance-Analysen sowie Implementierung von Verbesserungsmaßnahmen
Deployment und Konfiguration von Funktions- und Integrationstests
Entwicklung von Shell-Skripten und Erweiterung des Monitoringsystems, einschließlich Nagios-Checks und diverser Automatisierungsprozesse
Durchführung von Performance-Tests und Vergleich zwischen dem Open-Source-Projekt Solr und der OASIS-Suchplattform
Incident-Management im Bereich der Produktions- und Testsysteme auf SLES 10/11-Basis
Technologien/Tools: SUSE SLES 10/11, MySQL, Apache ActiveMQ, Apache Tomcat, Microsoft Fast ESP
DevOps (allg.), Apache Tomcat, Bash Shell, Linux Entwicklung, Mysql, Nagios, Oracle-Anwendungen, Postgresql, Python, Server-Monitoring
4/2009 – 11/2010
Tätigkeitsbeschreibung
Installation von ORACLE zu Testzwecken zur Performanceoptimierung einer webbasierten Java-Anwendung
ORACLE 10gR2 RAC
Betriebssystem: Solaris 10 (AMD64-Architektur)
Storage: Linux-basierte iSCSI-Targets unter ORACLE ASM
Datensicherung mit RMAN
Postgresql, DevOps (allg.), Subversion, Eclipse, Java (allg.), Load Balancing, Nginx, Oracle-Anwendungen, Oracle Rac, Solaris, Red Hat Enterprise Linux (RHEL)
11/2005 – 3/2009
Tätigkeitsbeschreibung
Installation eines Linux-Servers mit verschiedenen Funktionen:
Mail-Server: Konfiguration von Postfix, Exim, Cyrus und Procmail (IMAP4, POP3, SMTP Relay, ORACLE Outlook Connector, Antivirus).
File-Server: Einrichtung von Samba und FTP für Dateiübertragung und -verwaltung.
Apache-Webserver: Einrichtung und Konfiguration von 40-50 virtuellen Hosts als kundenspezifische Entwicklungsumgebungen zu Testzwecken und zur Fehlerreproduktion.
Tägliche Datensicherung: Implementierung eines täglichen Backups auf einen anderen Server mittels Rsync.
ORACLE-Datenbank: Installation und Konfiguration einer ORACLE 10gR2 Single Instanz.
Virtuelle Maschinen: Einrichtung von VMware-Servern zur Verwaltung virtueller Maschinen.
Software RAID 10: Konfiguration von Software RAID 10 mit LVM für verbesserte Datensicherheit und Leistung.
Vor-Ort-Installation von ORACLE 10gR2 RAC bei Kunden:
Betriebssystem: Konfiguration auf RHEL 64-Bit.
Zwei ORACLE RAC Nodes: Einrichtung von redundanten RAC-Nodes.
Storage: NetApp Storage mit NFS-Dateisystem.
Interne ORACLE Standby-Datenbank: Konfiguration einer Standby-Datenbank mit Delay.
Datensicherung: Implementierung von RMAN für Datenbanksicherungen.
Externe Funktionen: Kompilierung, Konfiguration und Testen von Funktionen.
Datenimport und Volltextindizes: Datenimport und Optimierung von Volltextindizes.
Remote-Installation von ORACLE 10gR2:
Betriebssystem: SLES 32-Bit.
Single Instanz: Einrichtung einer ORACLE 10gR2 32-Bit Single Instanz.
Datensicherung: Implementierung von RMAN für Backups.
Externe Funktionen: Installation, Kompilierung, Konfiguration und Testen von externen Funktionen.
Datenimport und Volltextindizes: Konfiguration und Optimierung der Volltextindizes.
Remote-Installation von ORACLE RAC 10gR2:
Betriebssystem: SLES 64-Bit.
Zwei ORACLE RAC Nodes: Konfiguration von zwei RAC-Nodes.
Datenbank Storage: Verwendung von SCSI Storage mit ORACLE ASM Instanzen.
Standby-Datenbank: Implementierung einer internen ORACLE Standby-Datenbank mit konfiguriertem Delay.
Datensicherung: Durchführung von RMAN-Backups.
Externe Funktionen: Kompilierung, Konfiguration und Testen von externen Funktionen.
Datenimport und Volltextindizes: Optimierung und Konfiguration von Volltextindizes.
Vorbereitung zur Migration eines produktiven ORACLE 9.2.0.6 RAC auf ORACLE 10gR2 RAC:
Migrationskonzept: Erstellung eines detaillierten Konzepts für die Datenbankmigration.
Clusterware Abstimmung: Zusammenarbeit mit dem Clusterware-Hersteller (IBM).
Volltextindizes: Neuerstellung der Volltextindizes.
Tests: Durchführung der vorgegebenen Tests auf einem Testsystem.
Protokollierung: Erstellung eines Protokolls der einzelnen Migrationsschritte.
Downtime-Planung: Planung der benötigten Downtime für die Migration.
Abschließende Tests: Durchführung abschließender Tests der gesamten Applikation nach der Migration.
Postgresql, DevOps (allg.), Apache, Bash Shell, Linux Einführung, Oracle-Anwendungen, Oracle Rac, Oracle RMAN (Recovery Manager), Solaris, Red Hat Enterprise Linux (RHEL), Server-Monitoring
8/2003 – 3/2004
Tätigkeitsbeschreibung
Reparatur und Inbetriebnahme des MTI-Speichersystems:
Betriebssystem: SuSe Linux 8.2
Technologien: Fiber-Channel, SCSI, iSCSI, RAID 1/0/5, LVM
Tools: Linux-Tools
Konzeption und Umsetzung einer Plattform für einen Internetdienstanbieter (ISP):
Installation und Konfiguration eines AAA-Servers für die Rechnungsabwicklung
Betriebssystem: SuSe Linux 8.2
Technologien: Radius, PostgreSQL, Apache, PHP, CISCO IOS
Entwicklung und Implementierung eines Systems zur Rechnungsabwicklung pro Kunde im PDF-Format für die Buchhaltung:
Betriebssystem: SuSe Linux 8.2
Technologien: PostgreSQL-Datenbank, SQL, XML, XSLT, XSLT-FO, PDF, Postscript, HTTP/HTTPS, CGI, Java, IDEA, Oxygen, Adobe Acrobat
Postgresql, SQL, DevOps (allg.), Cisco Firewalls, Apache HTTP Server, Java (allg.), Linux Entwicklung, XML, Iscsi, Fiber Distributed Data Interface, PHP
8/2001 – 4/2003
Tätigkeitsbeschreibung
Java GUI Applikation zur Bearbeitung kundenspezifischer Vertragsdaten. Möglichkeit einer detaillierten Reporterstellung als PDF/Text Dokument
• Betriebssystem: Windows 2000
• Tools: IDEA, Forte for Java, JAVA, JDBC, Swing, SQLStudio, JCO, RReport
• Technologien: Datenbank SAPDB, SAP, SQL, GUI, XML
Installation und Konfiguration der Netzwerkstruktur an die neuen Anforderungen wie DMZ, Routing, Firewall und öffentliche Internetpräsenz
• Betriebssystem: SuSe Linux 8.0
• Tools: Linux Console
• Technologien: Netzwerkrouting, NAT, DNAT,PPP, PPTP, WEB, MAIL, FTP, VPN
ORACLE Installation ORACLE 8.1.7.3
• Betriebssystem: SuSe Linux 8.0
• Tägliche Sicherung auf anderen Server
Server-Monitoring, Apache HTTP Server, Apache Tomcat, Design (allg.), Firewalls, Java (allg.), Oracle-Anwendungen, Postgresql, Red Hat Enterprise Linux (RHEL)
2/2000 – 7/2000
Tätigkeitsbeschreibung
Versand von Nachrichten als SMS über eine externe ORACLE-Prozedur:
Betriebssystem: SuSe Linux 7.0
Tools: Linux, Gnu C, vi, Make, ORACLE 8.1.6, CVS, sqlplus
Technologien: ORACLE 8i, SQL, PL/SQL, C, Make, externe Prozeduren in ORACLE 8.1.6
Upgrade der Datenbankstruktur:
Betriebssystem: SuSe Linux 7.0
Tools: sqlplus, vi, CVS
Technologien: ORACLE 8i, SQL, PL/SQL
Oracle-Anwendungen, SQL, Red Hat Enterprise Linux (RHEL), C, Linux Entwicklung, SQL*Plus
2/1998 – 5/1999
TätigkeitsbeschreibungVerschiedene administrative Aufgaben, Software-Upgrades, Server-Monitoring, Fehleranalyse und weitere Tätigkeiten.
Eingesetzte QualifikationenApache HTTP Server, CGI (Common Gateway Interface), DevOps (allg.), Firewalls, Freebsd, Mysql, Perl, PHP, Postgresql, Red Hat Enterprise Linux (RHEL), Router / Gateways
Zertifikate
Über mich
Weitere Kenntnisse
Administration und Automatisierung von IT-Infrastrukturen (Linux, Apache, Nginx, HAProxy)
Datenbankmanagement und -migration (PostgreSQL, Oracle)
DevOps-Technologien (Puppet, Ansible) und CI/CD-Implementierung
Monitoring und Logging (Elasticsearch, OpenSearch, Logstash)
Big Data Technologien (Hadoop, HBase)
Entwicklung von maßgeschneiderten Lösungen für komplexe Datenverarbeitungsprozesse (z.B. EasyOlap)
Meine Erfahrung ermöglicht es mir, komplexe technische Herausforderungen zu lösen und Systeme effizient zu gestalten.
Persönliche Daten
- Deutsch (Muttersprache)
- Englisch (Grundkenntnisse)
- Europäische Union
- Schweiz
Kontaktdaten
Nur registrierte PREMIUM-Mitglieder von freelance.de können Kontaktdaten einsehen.
Jetzt Mitglied werden