Data Engineer | Krakow
⚲ Kraków
Do uzgodnienia
Wymagania
- 6–10 lat ogólnego doświadczenia w IT, w tym w inżynierii danych
- 4–5 lat praktycznego doświadczenia z PySpark i Python
- doświadczenie z Azure Data Factory (ADF): pipeline, orkiestracja, harmonogramowanie, monitoring
- znajomość technik optymalizacji Spark (partycjonowanie, caching, optymalizacja joinów i zapytań)
- doświadczenie z rozproszonymi systemami przetwarzania danych na dużą skalę
- znajomość SQL, relacyjnych baz danych i modelowania danych
Mile widziane
- doświadczenie z Azure Databricks (ADB)
Opis stanowiska
Budowa i utrzymanie skalowalnych potoków danych oraz procesów ETL/ELT na platformie Azure dla dużych wolumenów danych, z optymalizacją wydajności Spark i pracą w zespole z data scientistami i architektami. To rola dla samodzielnego inżyniera, który lubi rozwiązywać problemy wydajnościowe i pracować z rozproszonym przetwarzaniem. Uwaga: część pracy może polegać na naprawianiu i utrzymaniu istniejących rozwiązań, które nie spełniają obecnych standardów.
🔍 Dekoder Ogłoszenia
🔴
experienced Azure Data Engineer with strong hands-on expertise
Oczekuje się, że kandydat będzie samodzielny i będzie potrafił rozwiązywać problemy bez ciągłego nadzoru.
🔴
design, develop, and maintain scalable data processing and ETL/ELT solutions
Może oznaczać zarówno tworzenie nowych rozwiązań, jak i utrzymywanie istniejących, które mogą być przestarzałe lub wymagać ciągłych poprawek.
🔴
collaborate closely with Data Scientists, Data Analysts, Solution Architects, and other stakeholders
Może oznaczać dużą liczbę spotkań i konieczność negocjowania wymagań z różnymi grupami interesariuszy.
🔴
build reliable, high-performance data solutions that meet business and technical requirements
Wymagania biznesowe mogą być niejasne lub często się zmieniać, co utrudnia budowanie stabilnych rozwiązań.
🔴
Apply data engineering best practices for performance, scalability, reliability, maintainability, and code quality
Choć brzmi pozytywnie, może oznaczać, że obecne rozwiązania nie spełniają tych standardów i kandydat będzie musiał je naprawiać.