Principal engineer
- Verfügbarkeit einsehen
- 2 Referenzen
- auf Anfrage
- 10969 Berlin
- Europa
- ru | en | de
- 08.12.2024
Kurzvorstellung
Auszug Referenzen (2)
"Over 50,000 gave us 5 stars.
Thank you D. for deep tech insights and timely support of non-tech team members in all our initiatives."
7/2024 – 8/2024
Tätigkeitsbeschreibung
- Automate business processes via langchain and make - free 70% of employee time
- CRM integration to track customer journey
- Extend existing mobile app to include paid content and ads integration
Data Warehousing, Flutter, Large Language Models, Python
"D. demonstrated exceptional leadership skills and technical expertise and led our development team."
1/2022 – 6/2024
Tätigkeitsbeschreibung
- Funktionale Anforderungen erfassen
- Team dabei unterstützen, eine Lösung für eine Marktplatzplattform zu entwickeln
- CI/CD-Pipelines entwerfen und implementieren
- Testumgebung und Prozesse rund um QA-Praktiken einrichten
- Beobachtbarkeit und Überwachung integrieren
- Zeit-/geschäftskritische Komponenten der Lösung über den gesamten Stack hinweg implementieren – Backend, Empfehlungs- und Matchines-Engines, mobile Anwendungen
Amazon Web Services (AWS), Continuous Delivery, DevOps, Elasticsearch, Flutter, Google Cloud, Postgresql, Python, SQL
Qualifikationen
Projekt‐ & Berufserfahrung
8/2024 – 9/2024
Tätigkeitsbeschreibung
Analyse existing software development processes, identify bottlenecks and inefficiencies.
Prepare roadmap to decrease Time-To-Market
Pair with team and coach on the best practices: working in small batches, integrating CI/CD, adding auto-tests
Continuous Delivery, Continuous Integration, DevOps, Agile Methodologie, C#, Microsoft Azure, Performance Management, Change Management
7/2024 – 8/2024
Tätigkeitsbeschreibung
- Automate business processes via langchain and make - free 70% of employee time
- CRM integration to track customer journey
- Extend existing mobile app to include paid content and ads integration
Data Warehousing, Flutter, Large Language Models, Python
6/2024 – 7/2024
Tätigkeitsbeschreibung
Analyse Postgres data access patterns: read vs writes, hot tables, redundant and missing indexes, table and index sizes.
Check analyze and vacuum stats.
Collect query statistics - number of calls, mean and max time.
Review app architecture - job's queue, webhook and user triggered endpoint + kronjobs in kubernetes.
Collect metrics in prometheus and grafana related to db usage and code execution to map CPU spikes with suspicious code.
Together with engineering team run several sessions of code optimisation's that allow to improve overall performance 3 times.
Document runbooks and roadmap to prepare codebase for further growth.
Django, Postgresql, Python
1/2022 – 6/2024
Tätigkeitsbeschreibung
- Funktionale Anforderungen erfassen
- Team dabei unterstützen, eine Lösung für eine Marktplatzplattform zu entwickeln
- CI/CD-Pipelines entwerfen und implementieren
- Testumgebung und Prozesse rund um QA-Praktiken einrichten
- Beobachtbarkeit und Überwachung integrieren
- Zeit-/geschäftskritische Komponenten der Lösung über den gesamten Stack hinweg implementieren – Backend, Empfehlungs- und Matchines-Engines, mobile Anwendungen
Amazon Web Services (AWS), Continuous Delivery, DevOps, Elasticsearch, Flutter, Google Cloud, Postgresql, Python, SQL
6/2019 – 1/2022
Tätigkeitsbeschreibung
Helfen Sie dem Unternehmen, eine datengesteuerte Strategie zur Migration vom Data Warehouse zur Data-Mesh-Architektur umzusetzen:
- Migrieren Sie eine Reihe von Datenpipelines aus der privaten Hosting-Umgebung von Cloudera in die AWS-Cloud, um die exponentielle Nachfrage nach Wachstum während Covid zu unterstützen (Terraform, Kubernetes, AWS-Technologie-Stack: EMR, ECR, IAM).
- Erstellen Sie eine Datenpipeline zur Analyse von Daten für A/B-Tests unter Verwendung von Optimizely und Google Analytics-Ereignissen als Quelle (Spark, Airflow bei K8s).
- Entwickeln Sie ein Framework zur Datenqualitätssicherung für das gesamte Data Warehouse.
- Implementieren Sie neue und erweitern Sie vorhandene ETLs entsprechend den Anforderungen der Stakeholder.
- Nehmen Sie an der Rufbereitschaft teil, um SLA für geschäftskritische Datensätze zu unterstützen.
-Leistungsoptimierung von Stream- und Batch-Datenpipelines – Spark, Python, Scala, Impala, Hive, Airflow, Parquet, HDFS, AWS-Infrastruktur – S3, RDS, EC2, Lambda, DMS.
Amazon Web Services (AWS), Apache Hadoop, Apache Spark, Big Data, Data Warehousing, Engineering data management (EDM), Apache Kafka, Python, Scala
11/2015 – 7/2018
Tätigkeitsbeschreibung
Build an analytics department (country-wide telekom data, hundreds terabytes). With a new analytical component - company has managed to close a deal with its biggest client. Medallion architecture, Cassandra, PostgreSQL, Spark, pre-sales, requirements assessments, NLP, EDA, AI/ML, outlier detection, clustering, GIS.
Change management: introduce CI/CD processes, configuration management, releases management, QA and auto tests, observability and monitoring, stakeholder management
Improve high load system’s stability and performance 40% - peak throughput up to 80k events per seconds. Linux, docker, capacity planning, investigation of disaster incidents, run post-mortem and prepare runbooks
Cassandra, Kafka, Elastic, Postgres performance tuning + containerization of applications (Java, Scala, Python, C++, docker, ansible, postgresql, database schema design - ER, denormalisation)
Develop and run internship program: software development, data analysis, coaching
Apache Spark, Predictive Analytics, Natural Language Processing, Elasticsearch, Requirement Analyse, Change Management, Big Data, C++, Java (allg.), Apache Kafka, Python
Ausbildung
Lobatschewski-Universität Nischni Nowgorod
Nischni Nowgorod
Über mich
Ich kann Ihnen helfen, Ihre Datenströme zu optimieren, um die Datenherkunft und -qualität zu verbessern und Daten durch die Erstellung von Datamarts und Berichten zugänglich und interpretierbar zu machen.
Datensätze für Führungskräfte – schnell und auf den Punkt.
ETLs/ELT, Batch & Streaming, in der Cloud und vor Ort
- Leistungs- und Schemaoptimierung
- Upgrade des Data Warehouse für die Medalion-Architektur (Bronze-/Silber-/Gold-Ebenen) und/oder dimensionale Modellierung
- GPDR- und PIP-kompatibel
- Data governance from the ground up
Weitere Kenntnisse
- Leitung eines Teams zur Entwicklung einer Marktplatzplattform (FastAPI, Flutter, next.js, k8s)
- Erstellen von ETLs/ELTs-Batch und Streaming auf Spark über Python und Scala (Python, Kafka, AWS-Infrastruktur, ECS, Terraform)
- Erstellen von Analysen über datenintensive Pipelines Kafka/Cassandra (Spitzenlast – 80.000 Ereignisse pro Sekunde) (Java, C++)
- Integrieren von Computer Vision-Pipelines auf Mobilgeräten (C++, Cross-Kompilierung)
- Portieren von mathematischen Algorithmen auf GPU (OpenCL, CUDA)
- Entwickeln von Solana-Smartcontracts (Rust)
Persönliche Daten
- Russisch (Muttersprache)
- Englisch (Fließend)
- Deutsch (Grundkenntnisse)
- Europäische Union
- Schweiz
- Vereinigte Staaten von Amerika
Kontaktdaten
Nur registrierte PREMIUM-Mitglieder von freelance.de können Kontaktdaten einsehen.
Jetzt Mitglied werden