Pracuj.pl Praca zdalna Senior

Spark / Data Lakehouse Developer

NATEK POLAND

⚲ Wrocław

Do uzgodnienia

Wymagania

  • min. 4 lata doświadczenia w Data Engineering, Apache Spark lub Data Lakehouse
  • praktyczne doświadczenie z Apache Iceberg w produkcji: tabele wersjonowane, upsert/merge
  • doświadczenie w integracji i przetwarzaniu danych z MongoDB oraz MongoDB Spark Connector
  • znajomość architektury Data Lakehouse i budowy warstw raw/bronze/silver/gold
  • doświadczenie w optymalizacji wydajności i kosztów przetwarzania w środowiskach Big Data
  • doświadczenie w pracy w Scrum lub Kanban oraz znajomość Jira i Confluence
  • bardzo dobra znajomość języka polskiego

Mile widziane

  • doświadczenie z Delta Lake lub Apache Hudi, Docker/Kubernetes, OpenTelemetry/Dynatrace, Data Governance/Data Quality lub mentoringiem zespołów

Opis stanowiska

Dołączysz do zespołu Data Platform w NATEK, gdzie projekt dotyczy rekoncyliacji danych w warstwie ODS opartej o MongoDB oraz budowy i rozwoju architektury Data Lakehouse. Realnie będziesz projektować i implementować procesy PySpark/Spark SQL do porównywania danych między MongoDB a systemami źródłowymi, tworzyć reguły Data Quality, wykrywać duplikaty i anomalie oraz rozwijać warstwy raw/bronze/silver/gold z użyciem Apache Iceberg. To oferta dla doświadczonego inżyniera danych, który czuje się swobodnie w produkcyjnym Sparku, optymalizacji wydajności i kosztów oraz CI/CD. Wymagana jest bardzo dobra znajomość języka polskiego.

🔍 Dekoder Ogłoszenia

🟡
Bardzo dobra znajomość
Standardowe sformułowanie bez rozwinięcia — niejasne, czy chodzi o poziom ekspercki czy praktyczną biegłość.
🟢
Praktyczne doświadczenie w pracy z Apache Iceberg w środowiskach produkcyjnych
Konkretne wymaganie z jasno określonym kontekstem produkcyjnym — transparentne.
🟡
Doświadczenie w optymalizacji wydajności i kosztów przetwarzania danych
Może sugerować dużą presję na redukcję kosztów Big Data — warto dopytać o obecne wyzwania.