Data Engineer (Azure Databricks) in the EU
⚲ Białystok, Warszawa, Gdańsk, Kraków, Lublin
12 400 - 19 850 PLN brutto (UoP) | 12 400 - 19 850 PLN netto (B2B)
Opis stanowiska
Projekt dla międzynarodowej firmy z sektora life sciences, skupiony na rozwijaniu i utrzymaniu platformy danych w chmurze Azure dla obszaru drug development. Będziesz budować i utrzymywać wielowarstwowe pipeline'y (Landing → Raw → Enriched → Curated) na Databricks, wdrażać ingestię wsadową i przez API, dbać o jakość danych, obsługę schema drift oraz monitoring pod cele SLA. To oferta dla doświadczonego data engineera, który lubi pracę operacyjną na istniejącej platformie i nie przeszkadza mu praca w kontrolowanym środowisku Dev/Test/Prod z rozbudowanymi kontrolami dostępu i audytem. Uwaga: z opisu wynika, że projekt polega raczej na modernizacji i usprawnianiu istniejącej platformy niż budowaniu jej od zera — monitoring pipeline'ów pod SLA oraz budowanie observability i governance na dbt sugerują, że część tych obszarów dopiero powstaje lub wymaga naprawy.
🔍 Dekoder Ogłoszenia
🔴
project enhancing a cloud-based data platform and delivering scalable data solutions for drug development
Projekt prawdopodobnie obejmuje migrację lub modernizację istniejącej platformy, a nie budowanie jej od zera, co może oznaczać pracę z legacy code lub ograniczeniami.
🔴
delivering scalable data solutions
Może oznaczać, że obecne rozwiązania nie są skalowalne i wymagają znaczących usprawnień, a nie tylko drobnych poprawek.
🔴
Working hands-on with dbt for pipeline observability and data governance tasks
Choć dbt jest narzędziem do transformacji, jego użycie do 'obserwowalności' i 'zarządzania danymi' może sugerować, że te obszary nie są w pełni rozwinięte i wymagają budowania od podstaw.
🔴
Monitoring job failures, data freshness, and pipeline health against SLA-based delivery targets
Wskazuje na potencjalnie dużą liczbę problemów z pipeline'ami, które wymagają ciągłego monitorowania i reagowania, aby dotrzymać ustalonych celów SLA.
🔴
Working within a controlled Dev/Test/Prod environment: access cont
Ograniczenia w dostępie do środowisk mogą oznaczać biurokrację lub powolne procesy wdrażania zmian.