Data Engineer (Junior / Mid)

O projekcie:
Cel stanowiska
Rola odpowiada za projektowanie, budowę i
utrzymanie warstwy danych wspierającej aplikacje wewnętrzne, raportowanie oraz
procesy operacyjne i analityczne spółki działającej w branży tradingu
energetycznego i gazowego. Celem jest dostarczanie stabilnych, skalowalnych i
dobrze udokumentowanych pipeline’ów danych zasilanych z różnorodnych
zewnętrznych systemów i giełd energii.

Stanowisko łączy data engineering, automatyzację i
współpracę między funkcyjna. Osoba na tej roli pracuje na styku baz danych,
ETL/ELT, hurtowni danych, aplikacji biznesowych oraz zespołów Data Science,
DevOps i developmentu.
Co oferujemy
·
Realny wpływ na architekturę danych,
rozwój hurtowni danych oraz standardy integracji i automatyzacji w spółce.

·
Pracę na styku danych, aplikacji i
biznesu, z dużą ekspozycją na rzeczywiste procesy operacyjne i analityczne
organizacji.

·
Bliską współpracę z zespołami Data
Science, DevOps, developerami oraz użytkownikami biznesowymi przy projektach o
wysokiej użyteczności.

·
Szeroki zakres ownershipu: od
projektu rozwiązania, przez development i wdrożenie, po utrzymanie i dalszą
optymalizację.

·
Środowisko, które oczekuje
samodzielności, jakości technicznej, odpowiedzialności i inicjatywy w budowie
nowoczesnej funkcji danych.

Wymagania:
Wymagania

·
Komercyjne doświadczenie na poziomie
Mid w obszarze Data Engineering, ETL/ELT, integracji danych lub budowy hurtowni
danych.

·
Bardzo dobra znajomość SQL oraz
praktyka w pracy z relacyjnymi bazami danych — przede wszystkim MySQL
i/lub Microsoft SQL Server — obejmująca transformacje, optymalizację
zapytań i zarządzanie schematami.

·
Bardzo dobra znajomość Python w
kontekście przetwarzania danych, integracji i automatyzacji, w tym praca z
bibliotekami takimi jak pandas, SQLAlchemy, requests, openpyxl.

·
Doświadczenie w budowie i utrzymaniu
procesów ETL/ELT oraz orkiestracji workflowów w Apache Airflow (mile
widziana znajomość TaskFlow API).

·
Praktyczna znajomość zagadnień
związanych z jakością danych, walidacją, monitoringiem i obsługą błędów.

·
Doświadczenie w integracji danych z
różnych typów źródeł: REST API, SFTP, pliki XML, pliki Excel
— ze szczególnym uwzględnieniem środowisk, gdzie dane napływają z zewnętrznych
systemów giełdowych lub ERP.

·
Doświadczenie w pracy z hurtownią
danych lub warstwami analitycznymi wykorzystywanymi przez raportowanie i
aplikacje.

·
Umiejętność współpracy z
programistami, DevOps i użytkownikami biznesowymi przy przekładaniu wymagań na
rozwiązania techniczne.

·
Ownership, samodzielność, dobra
organizacja pracy oraz znajomość języka angielskiego na poziomie co najmniej
B2.



Mile widziane

·
Znajomość Bloomberg API, Microsoft
Graph API (SharePoint, OneDrive) lub innych źródeł danych finansowych i
rynkowych.

·
Znajomość lub doświadczenie z
systemem ERP Comarch XL jako źródłem danych w procesach ETL.

·
Znajomość Azure, Kubernetes, Docker,
GitHub Actions, ArgoCD, Helm lub podobnych elementów nowoczesnego stacku
deploymentowego.

·
Doświadczenie z narzędziami typu
dbt, Kafka, CDC lub rozwiązaniami wspierającymi nowoczesne platformy danych.

·
Praktyka we wspieraniu aplikacji
biznesowych od strony danych oraz w budowie integracji między systemami.

·
Doświadczenie we współpracy z Data
Science lub w środowisku tradingowym, energetycznym lub gazowym —
branżowa znajomość instrumentów (TGE, EEX, TTF, EUA, kontrakty terminowe)
będzie dodatkowym atutem.

Codzienne zadania:
- Projektowanie, budowa i utrzymanie pipeline’ów ETL/ELT zasilających hurtownię danych, aplikacje wewnętrzne oraz warstwy raportowe.
- Modelowanie danych i rozwój struktur staging, core oraz data marts zapewniających spójność, wydajność i łatwość konsumpcji danych.
- Integracja danych z różnych źródeł: relacyjnych baz danych (MySQL, SQL Server), zewnętrznych API (REST, SOAP), plików (XML, Excel, CSV), protokołu SFTP oraz systemów giełdowych i ERP.
- Automatyzacja procesów przetwarzania danych, walidacji, reconciliacji oraz cyklicznych zasileń w środowisku produkcyjnym.
- Budowa i utrzymanie mechanizmów kontroli jakości danych, monitoringu, alertowania oraz diagnostyki błędów.
- Rozwój i utrzymanie hurtowni danych oraz warstw pośrednich wspierających analitykę, raportowanie i procesy biznesowe.
- Wsparcie aplikacji operacyjnych i analitycznych od strony danych: dostępność źródeł, przewidywalność zasileń i jakość integracji.
- Współpraca z Data Scientistami przy przygotowaniu i udostępnianiu danych do modeli, analiz i eksperymentów.
- Współpraca z DevOps i programistami przy wdrożeniach, CI/CD, bezpieczeństwie, wydajności i stabilności rozwiązań danych.
- Prowadzenie dokumentacji technicznej obejmującej modele danych, lineage, zależności oraz standardy pracy z danymi.