Data Engineer (Spark )
⚲ Remote
25 200 - 27 300 PLN (B2B)
Wymagania
- min. 6 lat doświadczenia komercyjnego z Apache Spark w środowiskach produkcyjnych
- praktyczne doświadczenie w integracji Apache Spark z MongoDB przez MongoDB Spark Connector
- doświadczenie z Apache Iceberg (zarządzanie tabelami, wersjonowanie, upsert/merge)
- praktyczna znajomość Pythona
- doświadczenie w budowie i utrzymaniu CI/CD z Jenkinsem
- znajomość Prometheus i Grafana
- doświadczenie w metodykach Agile (Scrum/Kanban) oraz znajomość Jira i Confluence
Mile widziane
- doświadczenie z Delta Lake lub Apache Hudi, Dockerem, Kubernetes i Spark Operator
Opis stanowiska
Projekt w zespole Data Platform polegający na budowie mechanizmów rekoncyliacji danych w warstwie ODS opartej na MongoDB oraz synchronizacji z systemami źródłowymi, a także na rozwoju architektury Data Lakehouse (Raw, Bronze, Silver, Gold). Będziesz pisać procesy w PySpark/Spark SQL, integrować Sparka z MongoDB, wdrażać tabele Apache Iceberg i tuningować wydajność. Oferta dla doświadczonego inżyniera Big Data, który lubi pracę z jakością danych i produkcyjnymi pipeline'ami; doświadczenie bankowe jest atutem.
🔍 Dekoder Ogłoszenia
✓ Ogłoszenie wygląda transparentnie — brak typowych czerwonych flag.