Data Engineer
⚲ Warszawa
20 160 - 25 200 PLN netto (B2B)
Wymagania
- min. 4 lata komercyjnego doświadczenia
- bardzo dobra znajomość SQL i Python
- doświadczenie w pracy z PySpark i Databricks
- znajomość Delta Lake oraz architektury medallion (Bronze/Silver/Gold)
- doświadczenie w projektowaniu i budowaniu procesów ETL/ELT
- znajomość przetwarzania danych w trybie batch i streaming oraz mechanizmów CDC
- umiejętność optymalizacji wydajności procesów przetwarzania danych (performance tuning)
Opis stanowiska
Projekt dotyczy pozyskiwania, integracji, przetwarzania i udostępniania danych: budowy pipeline'ów i warstw danych oraz wdrażania mechanizmów jakości, lineage i obserwowalności. Będziesz pracować w oparciu o Databricks, Delta Lake i architekturę medallion, z przetwarzaniem batch i streaming oraz CDC. Uwaga: oferta deklaruje pracę zdalną, ale z 'uzgodnionymi spotkaniami projektowymi w zależności od potrzeb' — realna elastyczność może być mniejsza niż sugerowana. Dla inżynierów danych z min. 4-letnim doświadczeniem, którzy lubią samodzielnie projektować procesy ETL/ELT.
🔍 Dekoder Ogłoszenia
🔴
uzgodnione spotkania projektowe w zależności od potrzeb
Praca 'zdalna', ale z nieokreśloną liczbą spotkań stacjonarnych — realna elastyczność może być mniejsza niż deklarowana.