Fabric Data Engineer Senior
⚲ Warszawa, Białystok, Lublin, Kielce
Do uzgodnienia
Wymagania
- Microsoft Fabric
- Python
- SQL
- Delta Lake
- PySpark
- ETL
Opis stanowiska
Wymagania
• Praktyczna znajomość ekosystemu Microsoft Fabric (OneLake, Lakehouse, Data Warehouse, Data Factory).
• Bardzo dobra znajomość PySpark (Python) oraz T-SQL.
• Doświadczenie z architekturą Medallion oraz projektowaniem schematu gwiazdy (Star Schema).
• Praktyczna znajomość formatu Delta Lake i technik jego optymalizacji (V-Order, Compaction).
• Rozumienie, jak struktura danych w warstwie Gold wpływa na wydajność Direct Lake.
• Język angielski B2/C1.
Zadania
• Projektowanie, rozwój i utrzymanie rozwiązań danych w środowisku Microsoft Fabric.
• Budowa oraz zarządzanie architekturą danych z wykorzystaniem komponentów OneLake, Lakehouse, Data Warehouse oraz Data Factory.
• Tworzenie i rozwój procesów ETL/ELT z wykorzystaniem PySpark (Python) oraz T-SQL.
• Implementacja architektury Medallion (Bronze, Silver, Gold) zgodnie z najlepszymi praktykami projektowania platform danych.
• Projektowanie i rozwój modeli analitycznych opartych na schemacie gwiazdy (Star Schema) na potrzeby raportowania i analiz biznesowych.
• Przetwarzanie oraz optymalizacja danych zapisanych w formacie Delta Lake, w tym wykorzystanie mechanizmów V-Order, Compaction oraz innych technik poprawy wydajności.
• Projektowanie warstwy Gold z uwzględnieniem wymagań wydajnościowych dla Power BI Direct Lake.
• Monitorowanie, optymalizacja i tuning procesów przetwarzania danych oraz wydajności zapytań.
• Zapewnienie wysokiej jakości danych poprzez walidację, monitorowanie i wdrażanie dobrych praktyk Data Engineering.
• Współpraca z analitykami danych, zespołami BI oraz architektami przy projektowaniu i wdrażaniu rozwiązań analitycznych.
• Tworzenie dokumentacji technicznej dotyczącej procesów przetwarzania danych, modeli danych oraz architektury rozwiązania.
• Udział w projektowaniu standardów i dobrych praktyk związanych z platformą Microsoft Fabric oraz rozwojem nowoczesnych rozwiązań Data & Analytics.
• Praktyczna znajomość ekosystemu Microsoft Fabric (OneLake, Lakehouse, Data Warehouse, Data Factory).
• Bardzo dobra znajomość PySpark (Python) oraz T-SQL.
• Doświadczenie z architekturą Medallion oraz projektowaniem schematu gwiazdy (Star Schema).
• Praktyczna znajomość formatu Delta Lake i technik jego optymalizacji (V-Order, Compaction).
• Rozumienie, jak struktura danych w warstwie Gold wpływa na wydajność Direct Lake.
• Język angielski B2/C1.
Zadania
• Projektowanie, rozwój i utrzymanie rozwiązań danych w środowisku Microsoft Fabric.
• Budowa oraz zarządzanie architekturą danych z wykorzystaniem komponentów OneLake, Lakehouse, Data Warehouse oraz Data Factory.
• Tworzenie i rozwój procesów ETL/ELT z wykorzystaniem PySpark (Python) oraz T-SQL.
• Implementacja architektury Medallion (Bronze, Silver, Gold) zgodnie z najlepszymi praktykami projektowania platform danych.
• Projektowanie i rozwój modeli analitycznych opartych na schemacie gwiazdy (Star Schema) na potrzeby raportowania i analiz biznesowych.
• Przetwarzanie oraz optymalizacja danych zapisanych w formacie Delta Lake, w tym wykorzystanie mechanizmów V-Order, Compaction oraz innych technik poprawy wydajności.
• Projektowanie warstwy Gold z uwzględnieniem wymagań wydajnościowych dla Power BI Direct Lake.
• Monitorowanie, optymalizacja i tuning procesów przetwarzania danych oraz wydajności zapytań.
• Zapewnienie wysokiej jakości danych poprzez walidację, monitorowanie i wdrażanie dobrych praktyk Data Engineering.
• Współpraca z analitykami danych, zespołami BI oraz architektami przy projektowaniu i wdrażaniu rozwiązań analitycznych.
• Tworzenie dokumentacji technicznej dotyczącej procesów przetwarzania danych, modeli danych oraz architektury rozwiązania.
• Udział w projektowaniu standardów i dobrych praktyk związanych z platformą Microsoft Fabric oraz rozwojem nowoczesnych rozwiązań Data & Analytics.
🔍 Dekoder Ogłoszenia
🟡
Praktyczna znajomość ekosystemu Microsoft Fabric
Oznacza, że kandydat powinien mieć doświadczenie w pracy z narzędziami Fabric, a nie tylko teoretyczną wiedzę.
🟡
Bardzo dobra znajomość PySpark (Python) oraz T-SQL
Wymaga biegłości w obu technologiach, co może oznaczać potrzebę pisania złożonych skryptów i zapytań.
🟡
Doświadczenie z architekturą Medallion oraz projektowaniem schematu gwiazdy (Star Schema)
Kandydat powinien rozumieć i umieć implementować te konkretne wzorce projektowe w praktyce.
🟡
Rozumienie, jak struktura danych w warstwie Gold wpływa na wydajność Direct Lake
Wymaga głębokiego zrozumienia optymalizacji pod kątem konkretnego narzędzia BI (Power BI Direct Lake).
🟡
Zapewnienie wysokiej jakości danych poprzez walidację, monitorowanie i wdrażanie dobrych praktyk Data Engi
Oprócz budowania rozwiązań, kandydat będzie odpowiedzialny za utrzymanie i poprawę jakości danych, co może oznaczać dodatkowe obowiązki.