Python & Apache Spark Engineer - Data Processing Specialist
SQUARE ONE RESOURCES sp. z o.o.
⚲ Warszawa
150–170 zł netto (+ VAT) / godz.
Wymagania
- 5+ lat doświadczenia w software development, preferowane w środowiskach data-intensive lub enterprise
- doświadczenie komercyjne z Apache Spark i przetwarzaniem danych na dużą skalę
- praktyczne doświadczenie z jedną lub więcej platform Spark (Databricks, Azure Synapse, Microsoft Fabric)
- doświadczenie z Pandas, Polars lub podobnymi bibliotekami
- znajomość Parquet i innych kolumnowych formatów przechowywania danych
- praktyczne doświadczenie z Delta Tables / Delta Lake
- umiejętność samodzielnego zarządzania pracą, priorytetyzacji zadań i dotrzymywania napiętych terminów
Mile widziane
- doświadczenie z Microsoft Azure lub innymi głównymi platformami chmurowymi
Opis stanowiska
Projektowanie i wdrażanie rozwiązań do przetwarzania danych w środowisku chmurowym (Azure) z wykorzystaniem Apache Spark i platform takich jak Databricks, Azure Synapse czy Microsoft Fabric. Praca w zespole łączącym software engineering, data engineering i AI, przy projektach wspierających usługi podatkowe. Uwaga: oczekiwana jest duża samodzielność i praca pod presją czasu, a procesy mogą wymagać improwizacji. Dla doświadczonego inżyniera danych, który lubi pracować niezależnie w międzynarodowym zespole.
🔍 Dekoder Ogłoszenia
🔴
preferably in data-intensive or enterprise environments
Może oznaczać, że doświadczenie w innych środowiskach jest mniej cenione lub nie jest wystarczające.
🔴
Practical experience with one or more modern Spark-based platforms, such as: Databricks, Azure Synapse, Microsoft Fabric
Wymagają znajomości konkretnych, często komercyjnych platform, co może ograniczać kandydatów nieposiadających doświadczenia z tymi narzędziami.
🔴
Solid understanding of microservices architecture and its implementation in scalable enterprise systems.
Może sugerować, że będziesz pracować w złożonym, rozproszonym środowisku, które może być trudne w utrzymaniu i debugowaniu.
🔴
Ability to independently manage workload, prioritize tasks, and meet tight deadlines.
Oczekuje się, że będziesz pracować samodzielnie i pod presją czasu, co może oznaczać brak wsparcia lub nadmierne obciążenie pracą.
🔴
Practical and pragmatic mindset — able to balance standardized processes with the flexibility required to achieve project objectives.
Może oznaczać, że procesy są niedopracowane i często trzeba będzie działać "na skróty" lub improwizować.