Spark / Data Lakehouse Developer
⚲ Wrocław
125–145 zł netto (+ VAT) / godz.
Wymagania
- min. 4 lata praktycznego doświadczenia z Apache Spark w środowiskach produkcyjnych
- biegła znajomość PySpark, Spark SQL, DataFrames i Structured Streaming
- doświadczenie z MongoDB (Spark Connector, modelowanie dokumentowe, indeksowanie)
- praktyczna znajomość architektury Data Lakehouse i Apache Iceberg
- umiejętność tworzenia procesów CI/CD z Jenkins
- biegłość w Pythonie
- znajomość monitoringu (Prometheus, Grafana)
- gotowość do wizyty w biurze we Wrocławiu 1 dzień w miesiącu
Opis stanowiska
Zespół Data Platform dla klienta z sektora finansowego — budowa i utrzymanie warstw danych w architekturze Data Lakehouse (od surowych zbiorów po warstwy curated/silver/gold), z MongoDB w warstwie ODS. Codzienna praca to rekoncyliacja danych, synchronizacja z systemami źródłowymi, tabele wersjonowane w Apache Iceberg i automatyzacja w Jenkins. Uwaga: rekoncyliacja danych bywa czasochłonna i wymaga dużej dokładności przy rozwiązywaniu niespójności, a praca obejmuje kilka technologii Lakehouse naraz. Oferta dla inżynierów danych z realnym, produkcyjnym doświadczeniem w Sparku.
🔍 Dekoder Ogłoszenia
🔴
Minimum 4 lata praktycznego doświadczenia z Apache Spark w środowiskach produkcyjnych.
Oczekuje się, że kandydat nie tylko zna Sparka teoretycznie, ale faktycznie używał go do rozwiązywania realnych problemów biznesowych na dużą skalę.
🔴
Praca zdalna, wizyta w biurze we Wrocławiu 1 dzień w miesiącu.
Choć praca jest zdalna, należy być przygotowanym na okazjonalne podróże do biura, co może być uciążliwe dla osób mieszkających daleko.
🔴
Budowa i utrzymanie warstw danych w architekturze Data Lakehouse (Delta Lake, Apache Iceberg, Hudi).
Może oznaczać, że będziesz musiał pracować z kilkoma różnymi technologiami Data Lakehouse, a nie tylko z jedną, co zwiększa złożoność.
🔴
Projektowanie i implementacja rozwiązań rekoncyliacji danych w warstwie ODS opartej o MongoDB.
Rekoncyliacja danych może być bardzo czasochłonnym i skomplikowanym procesem, wymagającym dokładności i rozwiązywania problemów z niespójnościami.
🔴
Nowoczesny stos technologiczny
Może oznaczać, że technologie są nowe i mogą być jeszcze niedojrzałe lub wymagać ciągłego uczenia się i adaptacji.