Spark / Data Lakehouse Developer (k/m/x)
⚲ Wrocław
115 zł netto (+ VAT) / godz.
Wymagania
- doświadczenie w projektowaniu i implementacji procesów w Apache Spark, Spark SQL i PySpark z DataFrames
- znajomość Apache Iceberg jako formatu tabel w architekturze Data Lakehouse
- doświadczenie w pracy z MongoDB, w tym integracji z Apache Spark
- umiejętność programowania w Pythonie w kontekście przetwarzania danych
- doświadczenie w konfiguracji i utrzymaniu CI/CD z Jenkins
- znajomość Prometheus i Grafana w kontekście monitoringu procesów danych
- doświadczenie w pracy w metodyce Scrum
Mile widziane
- doświadczenie w przetwarzaniu strumieniowym (Structured Streaming)
Opis stanowiska
Praca w zespole Data Platform przy rekoncyliacji i procesach przetwarzania danych w architekturze Data Lakehouse z Apache Iceberg jako głównym formatem tabel. Będziesz projektować i implementować procesy w Spark SQL/PySpark, budować reguły jakości danych i wykrywanie anomalii, integrować Spark z MongoDB oraz rozwijać CI/CD i monitoring. To oferta dla developera Spark/Data Lakehouse, który lubi pracę z danymi, optymalizację wydajności i diagnozowanie problemów produkcyjnych.
🔍 Dekoder Ogłoszenia
✓ Ogłoszenie wygląda transparentnie — brak typowych czerwonych flag.