Data Engineer (Azure Databricks)
⚲ Warszawa, Kraków
16 000 - 24 000 PLN brutto (UoP)
Wymagania
- 4+ lata komercyjnego doświadczenia w Data Engineering
- Doświadczenie w budowie pipeline'ów w architekturze Landing → Raw → Enriched → Curated
- Doświadczenie z schema enforcement i obsługą schema drift
- Orkiestracja pipeline'ów przez Databricks Jobs/Workflows (zależności, retry, alerty, obsługa błędów)
- Doświadczenie z ingestią batch i API-based
- Doświadczenie w projektowaniu i utrzymaniu modeli kontroli dostępu oraz pracy w kontrolowanych środowiskach Dev/Test/Prod
- Doświadczenie w dostarczaniu danych zgodnie z SLA oraz w alertingu, logowaniu i strategiach retry
- Doświadczenie w definiowaniu i utrzymaniu data contracts oraz dokumentacji pipeline'ów
Opis stanowiska
Praca nad platformą danych w chmurze dla klienta z branży life sciences — budowa i utrzymanie wielowarstwowych pipeline'ów (Landing → Raw → Enriched → Curated) na Azure Databricks. Realnie dużo pracy operacyjnej: monitorowanie jobów, świeżości danych i SLA, alerty, retry, a także dbt na potrzeby observability i governance. Uwaga: środowisko jest silnie kontrolowane (Dev/Test/Prod, audyt, segregation of duties), więc wdrażanie zmian bywa wolniejsze i obwarowane procedurami — to dobra oferta dla kogoś, kto lubi porządek i pracę w reżimie compliance, a nie dla osoby szukającej szybkiego, swobodnego developmentu.
🔍 Dekoder Ogłoszenia
🔴
delivering scalable data solutions for drug development
Może oznaczać pracę nad złożonymi, ale potencjalnie niszowymi rozwiązaniami, które wymagają głębokiego zrozumienia specyfiki branży farmaceutycznej.
🔴
The customer is an international company operating in the life sciences sector.
Praca dla klienta z branży farmaceutycznej może wiązać się z rygorystycznymi regulacjami i wymogami dotyczącymi jakości danych.
🔴
Working hands-on with dbt for pipeline observability and data governance tasks.
Oznacza to, że będziesz odpowiedzialny za implementację i utrzymanie narzędzi do monitorowania jakości danych i zarządzania nimi, co może być czasochłonne.
🔴
Monitoring job failures, data freshness, and pipeline health against SLA-based delivery targets.
Wymaga ciągłego monitorowania i reagowania na problemy, co może oznaczać pracę pod presją czasu i konieczność szybkiego rozwiązywania incydentów.
🔴
Working within a controlled Dev/Test/Prod environment: access cont
Może sugerować restrykcyjne procedury wdrażania zmian i ograniczenia w dostępie, co spowalnia procesy deweloperskie.