Pracuj.pl Praca zdalna Mid

Spark / Data Lakehouse Developer (k/m/x)

B2B.NET S.A.

⚲ Wrocław

115 zł netto (+ VAT) / godz.

Wymagania

  • doświadczenie w projektowaniu i implementacji procesów w Apache Spark, Spark SQL i PySpark z DataFrames
  • znajomość Apache Iceberg jako formatu tabel w architekturze Data Lakehouse
  • doświadczenie w pracy z MongoDB, w tym integracji z Apache Spark
  • umiejętność programowania w Pythonie w kontekście przetwarzania danych
  • doświadczenie w konfiguracji i utrzymaniu CI/CD z Jenkins
  • znajomość Prometheus i Grafana w kontekście monitoringu procesów danych
  • doświadczenie w pracy w metodyce Scrum

Mile widziane

  • doświadczenie w przetwarzaniu strumieniowym (Structured Streaming)

Opis stanowiska

Praca w zespole Data Platform przy rekoncyliacji i procesach przetwarzania danych w architekturze Data Lakehouse z Apache Iceberg jako głównym formatem tabel. Będziesz projektować i implementować procesy w Spark SQL/PySpark, budować reguły jakości danych i wykrywanie anomalii, integrować Spark z MongoDB oraz rozwijać CI/CD i monitoring. To oferta dla developera Spark/Data Lakehouse, który lubi pracę z danymi, optymalizację wydajności i diagnozowanie problemów produkcyjnych.

🔍 Dekoder Ogłoszenia

✓ Ogłoszenie wygląda transparentnie — brak typowych czerwonych flag.