Data Engineer

7/2019 – 3/2020

Ich habe an einem Microsoft Azure Architekt Technologie Training Kurs teilgenommen – AZ300 & AZ301. Hier habe ich meine verschiedenen Kenntnisse mit Datenbanken, Daten Warenhäuser, virtuelle Maschinen, und Netzwerktechnik generell zusammengebracht. Denodo war eine andere Technik, die ich gelernt habe. Denodo liefert eine Daten Virtualisierung Software mit unzähligen Verwendungen. Daten-Kontrollieren, Sicherung, Verbindung, Integrieren und Speichern mit einer vereinten Betriebsplatform. Vor 4 Monaten habe ich ein Privatprojekt mit einer Kombination der Audioabtastung und
Erstellung mit künstlicher Intelligenz durchgeführt. Ich musste viele neue Fähigkeiten lernen z.B. Python, Virtuelle Umgebungen, TensorFlow

Rolle
• Training für AZ300 & AZ301 Microsoft Prüfungen
• Training für Denodo Daten Virtualisierung
• Audioerzeugung durch Deep-Learning

Hauptaufgaben
• Installation von virtuellen Umgebungen durch virtualenv
• Datenbank Migration mit SQL-Server 2016 und Azure SQL-Datenbanken
• Entwicklung der ETL Paketen durch SSIS und Azure DataFactory
• Durchführung der Datenvirtualisierung Daten-Kontrollieren, Sicherung, Verbindung, Integrieren und Speichern mit Denodo
• Installation von Python 3.7.4
• Installation von tensorflow 1.14.0
• Implementierung von DeepMind WaveNet
• Umfangreiche Nutzung des Git, einschließlich der Klone, Abzweigung und Commit

Data Warehousing, Administration von Datenbanken, Datenbankentwicklung, Microsoft SQL-Server (MS SQL)

1/2018 – 7/2019

GoDaddy erforderte die globale Integration von Finanzdaten (Anlagevermögen, Lieferanten, Journalbuchungen, Rechnungsstellung, Kreditorenbuchhaltung) aus mehreren älteren Datenbanksystemen mit mehreren Formaten und Datenmodellen in ein zentrales globales ERP-System, Workday.
Rolle:
• Migration von Buchhaltungsdaten über EMEA
• Bearbeitung und Validierung globaler Kundenaufträge

Hauptaufgaben:
• Erfassung der Geschäftsanforderungen in mehreren geografischen Domänen
• Verständnis der unterschiedlichen internationale Rechnungslegungsstandards, einschließlich Anlagevermögen und Abschreibungsmodellen
• Verständnis der Form der vorhandenen Architektur
• Durchführung funktionaler und technischer GAP Analysen
• Entwurf, Entwicklung und Implementierung der Lösungen, die Datenvalidierung, Datenbereinigung und Berichterstellung umfassen
• Vermittlung und Kommunikation mit Geschäftsanspruchsgruppen
• Nachprüfung und Dokumentierung, die Architektur, Code und Datenmigration-Prozessen umfassen
Gründliche Technische Aufgaben:

• Erstellung der Ursprungdatenmodelle
• Erstellung der Staging-Tabelle für Datenumwandlung und Datenüberprüfung
• Datennormierung der verschiedenen Formate und Datenmodelle von mehreren Systemen
• Erstellung der Fehlerbehandlung und auch Entwicklung der Geschäftsregeln mit gespeicherten Prozeduren und Funktionen um Kundenaufträge durch JSON via Informatica zu verarbeiten
• Entwurf und Ausführung der T-SQL Abfragen, die Deduplizierung, Implementierungen der verschiedenen Geschäftsregeln und Fehlerbehandlung umfassen und ebenso einfache Berichterstattung.
• Durchführung der ad-hoc, monatlichen und schrittweisen Datenimports mit SQL-Server Import/Export Wizard, OPENROWSET, gespeicherten Prozeduren und SSIS-Paketen
• Kopieren Datenbanken lokal für volle Verfügbarkeit
• Überprüfung der Code und Dokumentar
• Ausführung der Inventarvermögen-Datenmigration mit 100% Erfolgsquote
• Einhaltung der agilen Methodologie durch SCRUM-Framework mit Kanbantafeln
• Erzeugung, Zuordnung und Verschiebung der Tickets regelmäßig und angemessen
• Vermittlung mit Innenrevisoren und Bereitstellung der Dokumentare mit meinem Code und meinen Prozessen

Andere Aufgaben:
• Kommunikation auf Deutsch mit deutschen Geschäftsanspruchsgruppen und Bereitstellung der Anleitung- und Dokumentar-Übersetzungen
• Erhöhung der Kommunikation-Verfügbarkeit zwischen Deutschland und US
• Unterstützung mit anderen Projekten außerhalb meines Zuständigkeitsbereichs
• Erhöhung der Geschwindigkeit zum Markt durch schnelle Erlangung der Daten in irgendwelche Formate, was die verschiedenen Handelsmarken hatten und Verwendung der ad-hoc Softwarewerkzeuge nämlich Import/Export Wizard und OPENROWSET Funktionalität speziell, wenn es Probleme mit CSV/Excel Dateien gab
• Software-Design-Stabilität durch Entwicklung der gespeicherten Prozeduren und SSIS-Paketen, die robust, vorschriftsmäßig, effizient und dokumentiert waren, um eine bequeme Umstellung zwischen die Altsysteme und Workday hinzukriegen
• Implementierung der Prozesstransparenz mit Staging-Tabellen, um Datenumwandlung zu kontrollieren
• Erfassung der Workday Fehlerereignisse, um schrittweiser Veredelung der aufeinanderfolgenden Datenauszügen zu schaffen
• Erstellung der T-SQL Abfragen für Daten Deduplizierung, weil es keinen technischen Primärschlüssel gab
• Implementierung der mehreren Geschäftsregeln, Datenüberprüfungen, Berichterstattungsmechanismen und Warnsystemmechanismen
• Verwendung des PowerShell-Codes mit integrierten T-SQL Abfragen, um einen proprietäre Workday EIB Datei-Format auszufüllen.
• Regelmäßigere Modifizierung durch parametergesteuerten Code, um der Code schneller zu ändern
• Verwendung der 2FA mit mehreren VPN

Data Warehousing, Datenanalyse, Administration von Datenbanken, Datenbankentwicklung

1/2017 – 12/2017

3Sights erforderte weiteres Aufbauen und Integration für Infrastruktur und Kundenarbeit, einschließlich der SCXML Entwicklung, Daten Pipeline erschaffen, VoIP einbauen und Microsoft R integrieren und optimieren.

Rolle

• Daten Pipeline erschaffen
• Microsoft R integrieren und optimieren
• Telefonie über Internet System mit 3CX einbauen
• Projekte für Kunde mithelfen

Hauptaufgaben
• GPU-orientiert Hochleistungsrechnen Entwürfen und Planung
• Durchführung der generellen Administration, einschließlich der Webseitenadministration, Systemfehlererhebung und auch der Patch-Updates, rollierende Upgrades und weitere virtuellen Maschinen Erstellung innerhalb des 3Sightssystem – alles mit SQL-Server 2012, 2014 & 2016 auf Microsoft Server 2008, 2012 &2016 & ESXI OS
• Erstellung von SSIS-Paketen (DTS) und der Durchführung von ETL mit SSIS für verschiedene Kunden
• Telefonie über Internet installieren und konfigurieren mit VPN Konnektivität und GCM Push-Benachrichtigung einrichten
• Großvolumig Ladedaten schaffen mit Abfrageoptimieren
• Virtuelle Maschinen Installation und Management von Ressourcen durch VSphere Client v5.5
• Erfüllung der Einhaltung und regulatorische Richtlinien für eine niederländische Bank durch Entwicklung der SCXML mit C# Anwendungssoftware
• Ladung der verschiedene Datensätze – sowohl normalisierte als auch denormalisierte – zu den existierenden und neuen Datenbanken, denen von meinem Zuständigkeitsbereich waren.
• Regelmäßige Anpassung der Speicherzuordnung, Festplattenspeicher und verfügbare Prozessorkerne, um 3Sights ein wirksames, stabiles, leistungsstarkes und performantes System zu haben
• Unterstützung der 3Sights Bedarfsermittlung für Hardwareskalierung in den Bereichen künstlichen Intelligenz

Administration von Datenbanken, Datenbankentwicklung, Microsoft SQL Server Integration Services (SSIS), Microsoft SQL-Server (MS SQL), Windows Server 2012, Infrastrukturarchitektur, VoIP