Data Engineer (k/m)
⚲ Warszawa
80–100 zł netto (+ VAT) / godz.
Wymagania
- ETL
- Data Warehouse
- Linux
- Kafka
- Informatica PowerCenter
Opis stanowiska
Nasze wymagania:
Doświadczenie w budowie rozwiązań Data Lake/DWH i datamartów
Doświadczenie w projektowaniu i utrzymaniu pipeline'ów ETL/ELT
Ekspercka znajomość Oracle i PostgreSQL (projektowanie, tuning SQL)
Znajomość Google BigQuery
Praktyczna znajomość Informatica PowerCenter
Znajomość Kafka/Pub/Sub
Znajomość Linuxa na poziomie zaawansowanym
Doświadczenie w testach, wdrożeniach i rozwiązywaniu incydentów
Gotowość do pracy w modelu DevSecOps
Mile widziane:
Python
Airflow
Rust
Apache Spark
O projekcie:
O projekcie
Zespół buduje rozwiązania Data Lake/DWH dla dużego środowiska bankowego, obejmujące zasilanie danych online i offline w środowisku on-prem oraz GCP. Rola łączy modelowanie danych, budowę pipeline'ów ETL/ELT i tuning SQL, zgodnie z modelem DevSecOps.
Zakres obowiązków:
Projektowanie i realizacja rozwiązań zasilania danych
Budowa pipeline'ów ETL/ELT
Praca z Oracle, PostgreSQL, BigQuery i Informatica PowerCenter
Praca z Kafka/Pub/Sub
Tuning zapytań SQL on-prem i w GCP
Tworzenie rozwiązań ładowania danych w Pythonie i Rust
Modelowanie danych i przygotowywanie datamartów
Wsparcie testów, wdrożeń i rozwiązywania incydentów
Doświadczenie w budowie rozwiązań Data Lake/DWH i datamartów
Doświadczenie w projektowaniu i utrzymaniu pipeline'ów ETL/ELT
Ekspercka znajomość Oracle i PostgreSQL (projektowanie, tuning SQL)
Znajomość Google BigQuery
Praktyczna znajomość Informatica PowerCenter
Znajomość Kafka/Pub/Sub
Znajomość Linuxa na poziomie zaawansowanym
Doświadczenie w testach, wdrożeniach i rozwiązywaniu incydentów
Gotowość do pracy w modelu DevSecOps
Mile widziane:
Python
Airflow
Rust
Apache Spark
O projekcie:
O projekcie
Zespół buduje rozwiązania Data Lake/DWH dla dużego środowiska bankowego, obejmujące zasilanie danych online i offline w środowisku on-prem oraz GCP. Rola łączy modelowanie danych, budowę pipeline'ów ETL/ELT i tuning SQL, zgodnie z modelem DevSecOps.
Zakres obowiązków:
Projektowanie i realizacja rozwiązań zasilania danych
Budowa pipeline'ów ETL/ELT
Praca z Oracle, PostgreSQL, BigQuery i Informatica PowerCenter
Praca z Kafka/Pub/Sub
Tuning zapytań SQL on-prem i w GCP
Tworzenie rozwiązań ładowania danych w Pythonie i Rust
Modelowanie danych i przygotowywanie datamartów
Wsparcie testów, wdrożeń i rozwiązywania incydentów
🔍 Dekoder Ogłoszenia
🔴
Gotowość do pracy w modelu DevSecOps
Oczekuje się proaktywnego podejścia do bezpieczeństwa i automatyzacji procesów w całym cyklu życia oprogramowania, co może oznaczać większą odpowiedzialność i konieczność ciągłego uczenia się.
🔴
Rola łączy modelowanie danych, budowę pipeline'ów ETL/ELT i tuning SQL
Chociaż brzmi to jak wszechstronność, może oznaczać, że będziesz musiał wykonywać wiele różnych zadań, a niekoniecznie być ekspertem w każdym z nich.
🔴
Tworzenie rozwiązań ładowania danych w Pythonie i Rust
Wymóg znajomości Rust jest dość specyficzny i rzadko spotykany w standardowych ogłoszeniach Data Engineer, co może sugerować, że projekt jest eksperymentalny lub wymaga specyficznych, niszowych umiejętności.
🟡
Dużego środowiska bankowego
Praca w sektorze bankowym często wiąże się z restrykcyjnymi regulacjami, długimi procesami decyzyjnymi i potencjalnie mniejszą elastycznością w porównaniu do innych branż.
🟡
Środowisku on-prem oraz GCP
Oznacza to konieczność pracy zarówno z infrastrukturą lokalną, jak i chmurową, co wymaga umiejętności zarządzania i integracji obu tych środowisk.