Streaming Data Engineer
⚲ Katowice
9 000 - 24 000 PLN (B2B / UoP)
Wymagania
- Python
- Java
- SQL
- Databricks
Opis stanowiska
As a Data Engineer, you will design, build, and operate scalable data platforms and pipelines supporting analytics and machine learning use cases. You will transform raw data into reliable, high-quality data products and contribute to architectural and platform-level decisions.
- Design and implement batch and streaming data pipelines.
- Integrate data from databases, APIs, and event streams.
- Build and maintain ETL/ELT processes.
- Ensure data quality, reliability, and performance.
- Collaborate with data scientists and analysts.
- Support deployment and operation of data solutions.
- Design and implement batch and streaming data pipelines.
- Integrate data from databases, APIs, and event streams.
- Build and maintain ETL/ELT processes.
- Ensure data quality, reliability, and performance.
- Collaborate with data scientists and analysts.
- Support deployment and operation of data solutions.
🔍 Dekoder Ogłoszenia
🔴
design, build, and operate scalable data platforms and pipelines
Oczekuje się, że będziesz nie tylko budować, ale także aktywnie utrzymywać i rozwijać istniejące rozwiązania, co może oznaczać pracę z legacy code lub nieoptymalnymi architekturami.
🟡
supporting analytics and machine learning use cases
Twoja praca będzie głównie wspierać inne zespoły, co może oznaczać, że nie będziesz miał bezpośredniego wpływu na produkt końcowy ani na strategiczne decyzje dotyczące danych.
🔴
transform raw data into reliable, high-quality data products
Może to oznaczać, że będziesz musiał radzić sobie z bardzo chaotycznymi i niskiej jakości danymi wejściowymi, co wymaga dużo pracy nad ich oczyszczaniem i walidacją.
🟡
contribute to architectural and platform-level decisions
Twoje wkład w decyzje architektoniczne może być ograniczony do technicznych aspektów implementacji, a nie do strategicznego kształtowania platformy danych.
🔴
Support deployment and operation of data solutions
Oprócz tworzenia, będziesz odpowiedzialny za wdrażanie i utrzymanie systemów w produkcji, co może oznaczać dyżury i rozwiązywanie problemów poza standardowymi godzinami pracy.