Architekt Systemowy Senior – Data Lake / DWH (F/M)
⚲ Warszawa
23 520 - 26 880 PLN netto (B2B)
Wymagania
- Apache Spark
- Kubernetes
- Relational Databases
- GCP
- Data Warehousing
- ETL tools
- Apache Kafka
- Informatica Powercenter
Opis stanowiska
Branża bankowa
Czym będziesz się zajmować?
• Projektowaniem i budową pipeline'ów zasilających ETL/ELT (on-line i off-line)
• Rozwijaniem rozwiązań Data Lake i DWH w środowisku on-prem i GCP
• Tworzeniem przepływów danych w Pythonie i/lub Ruscie dla danych strukturalnych i niestrukturalnych
• Budowaniem rozwiązań BigData z wykorzystaniem możliwości GenAI
• Strojeniem zapytań SQL na bazach relacyjnych i hurtownianych
• Przygotowywaniem datamart'ów tematycznych
• Tworzeniem koncepcji rozwiązań na podstawie wymagań biznesowych
• Pracą zgodnie z modelem DevSecOps
Wymagane:
• Doświadczenie w budowie pipeline'ów ETL/ELT
• Praktyczna znajomość projektowania Data Lake i DWH
• Znajomość architektury sterowanej zdarzeniami – Kafka, Pub/Sub
• Google BigQuery
• Kubernetes (GKE lub OpenShift)
• Bazy danych Oracle i PostgreSQL – projektowanie, budowa i tuning
• Biegła znajomość Pythona i/lub Rusta
• Apache Airflow
Mile widziane:
• Data mesh
• Bazy wektorowe i grafowe
• Apache Spark (GCP Dataproc) / Apache Beam (GCP Dataflow)
• AutomateNow, Informatica Power Center
Czym będziesz się zajmować?
• Projektowaniem i budową pipeline'ów zasilających ETL/ELT (on-line i off-line)
• Rozwijaniem rozwiązań Data Lake i DWH w środowisku on-prem i GCP
• Tworzeniem przepływów danych w Pythonie i/lub Ruscie dla danych strukturalnych i niestrukturalnych
• Budowaniem rozwiązań BigData z wykorzystaniem możliwości GenAI
• Strojeniem zapytań SQL na bazach relacyjnych i hurtownianych
• Przygotowywaniem datamart'ów tematycznych
• Tworzeniem koncepcji rozwiązań na podstawie wymagań biznesowych
• Pracą zgodnie z modelem DevSecOps
Wymagane:
• Doświadczenie w budowie pipeline'ów ETL/ELT
• Praktyczna znajomość projektowania Data Lake i DWH
• Znajomość architektury sterowanej zdarzeniami – Kafka, Pub/Sub
• Google BigQuery
• Kubernetes (GKE lub OpenShift)
• Bazy danych Oracle i PostgreSQL – projektowanie, budowa i tuning
• Biegła znajomość Pythona i/lub Rusta
• Apache Airflow
Mile widziane:
• Data mesh
• Bazy wektorowe i grafowe
• Apache Spark (GCP Dataproc) / Apache Beam (GCP Dataflow)
• AutomateNow, Informatica Power Center
🔍 Dekoder Ogłoszenia
🔴
Budowaniem rozwiązań BigData z wykorzystaniem możliwości GenAI
Może oznaczać zarówno zaawansowane wykorzystanie AI do analizy danych, jak i proste użycie narzędzi generatywnych do tworzenia skryptów.
🔴
Pracą zgodnie z modelem DevSecOps
W praktyce może oznaczać, że bezpieczeństwo jest dodawane na końcu procesu, a nie integralną częścią od początku.
🔴
Tworzeniem koncepcji rozwiązań na podstawie wymagań biznesowych
Może oznaczać samodzielne projektowanie od zera lub jedynie dokumentowanie już istniejących pomysłów.
🟡
Biegła znajomość Pythona i/lub Rusta
Wymaganie 'i/lub' może sugerować, że wystarczy dobra znajomość jednego z języków, a niekoniecznie obu na poziomie eksperckim.
🟡
Google BigQuery
Wymaganie konkretnego narzędzia chmurowego może oznaczać, że praca będzie mocno związane z ekosystemem GCP, nawet jeśli nie jest to wyraźnie zaznaczone.