Spark / Data Lakehouse Developer
⚲ Wrocław
Do uzgodnienia
Wymagania
- min. 4 lata doświadczenia w Data Engineering, Apache Spark lub Data Lakehouse
- praktyczne doświadczenie z Apache Iceberg w produkcji: tabele wersjonowane, upsert/merge
- doświadczenie w integracji i przetwarzaniu danych z MongoDB oraz MongoDB Spark Connector
- znajomość architektury Data Lakehouse i budowy warstw raw/bronze/silver/gold
- doświadczenie w optymalizacji wydajności i kosztów przetwarzania w środowiskach Big Data
- doświadczenie w pracy w Scrum lub Kanban oraz znajomość Jira i Confluence
- bardzo dobra znajomość języka polskiego
Mile widziane
- doświadczenie z Delta Lake lub Apache Hudi, Docker/Kubernetes, OpenTelemetry/Dynatrace, Data Governance/Data Quality lub mentoringiem zespołów
Opis stanowiska
Dołączysz do zespołu Data Platform w NATEK, gdzie projekt dotyczy rekoncyliacji danych w warstwie ODS opartej o MongoDB oraz budowy i rozwoju architektury Data Lakehouse. Realnie będziesz projektować i implementować procesy PySpark/Spark SQL do porównywania danych między MongoDB a systemami źródłowymi, tworzyć reguły Data Quality, wykrywać duplikaty i anomalie oraz rozwijać warstwy raw/bronze/silver/gold z użyciem Apache Iceberg. To oferta dla doświadczonego inżyniera danych, który czuje się swobodnie w produkcyjnym Sparku, optymalizacji wydajności i kosztów oraz CI/CD. Wymagana jest bardzo dobra znajomość języka polskiego.
🔍 Dekoder Ogłoszenia
🟡
Bardzo dobra znajomość
Standardowe sformułowanie bez rozwinięcia — niejasne, czy chodzi o poziom ekspercki czy praktyczną biegłość.
🟢
Praktyczne doświadczenie w pracy z Apache Iceberg w środowiskach produkcyjnych
Konkretne wymaganie z jasno określonym kontekstem produkcyjnym — transparentne.
🟡
Doświadczenie w optymalizacji wydajności i kosztów przetwarzania danych
Może sugerować dużą presję na redukcję kosztów Big Data — warto dopytać o obecne wyzwania.