Senior Data Engineer
Polski Standard Płatności S.A.
⚲ Warszawa
Do uzgodnienia
Wymagania
- CI/CD
- Spark
- Go
- NIFI
- Flink
- Apache Airflow
- SQL
- Beam
- Python
- NoSQL
Opis stanowiska
Twój zakres obowiązków
• Praca przy tworzeniu globalnej platformy analitycznej w firmie, z myślą o skalowalności i kosztach.
• Projektowanie i rozwój data pipeline'ów (batch, streaming).
• Tworzenie i utrzymywanie kontraktów danych, testów i metryk jakości (freshness, completeness, accuracy).
• Projektowanie algorytmów (deduplikacja, windowing, segmentacja) i struktur danych zoptymalizowanych dla tysięcy eventów na sekundę.
• Zbieranie, analiza i synteza wymagań od zespołów produktowych, analityków i Data Science.
• Propagowanie kultury data-driven w organizacji.
• Tworzenie dokumentacji oraz proponowanie nowych rozwiązań i kierunków dalszego rozwoju.
Nasze wymagania
• Minimum 6 lat komercyjnego doświadczenia w programowaniu w języku Python lub Go
• Doświadczenie w pracy z co najmniej jednym z narzędzi: Apache Airflow, Spark, Beam, NiFi, Flink
• Biegłość w SQL (PostgreSQL) i NoSQL - key-value, dokumentowe, time-series oraz kolumnowe DWH
• Pisanie kodu wg zasad Clean Code (np. "Meaningful Variable and Function Names", "Keep Functions and Methods Short.)
• Doświadczenie z silnikami kolejek
• Znajomość powszechnie stosowanych formatów, algorytmów i struktur danych
Mile widziane
• Doświadczenie w pracy w chmurach publicznych (wykorzystujemy Google Cloud, natomiast jeśli znasz dobrze inną - na pewno dojdziemy do porozumienia)
• Znajomość technologii CI/CD oraz IaC (Terraform, Ansible)
To oferujemy
• Możliwość pracy nad kluczowym systemem płatniczym w Polsce, mającym realny wpływ na codzienne życie milionów użytkowników
• Autonomię w podejmowaniu decyzji technicznych i możliwość wprowadzania innowacyjnych rozwiązań
• Pracę w środowisku, które ceni wiedzę ekspercką, argumenty merytoryczne i wspiera kulturę ciągłego uczenia się
• Elastyczne godziny pracy, praca hybrydowa
• Pakiet standardowych benefitów (zawierający m.in. opiekę medyczną, ubezpieczenie na życie, naukę języka angielskiego, nieograniczony dostęp do dużej platformy e-learningowej, MyBenefit)
• Budżet szkoleniowy i konferencyjny
• Praca przy tworzeniu globalnej platformy analitycznej w firmie, z myślą o skalowalności i kosztach.
• Projektowanie i rozwój data pipeline'ów (batch, streaming).
• Tworzenie i utrzymywanie kontraktów danych, testów i metryk jakości (freshness, completeness, accuracy).
• Projektowanie algorytmów (deduplikacja, windowing, segmentacja) i struktur danych zoptymalizowanych dla tysięcy eventów na sekundę.
• Zbieranie, analiza i synteza wymagań od zespołów produktowych, analityków i Data Science.
• Propagowanie kultury data-driven w organizacji.
• Tworzenie dokumentacji oraz proponowanie nowych rozwiązań i kierunków dalszego rozwoju.
Nasze wymagania
• Minimum 6 lat komercyjnego doświadczenia w programowaniu w języku Python lub Go
• Doświadczenie w pracy z co najmniej jednym z narzędzi: Apache Airflow, Spark, Beam, NiFi, Flink
• Biegłość w SQL (PostgreSQL) i NoSQL - key-value, dokumentowe, time-series oraz kolumnowe DWH
• Pisanie kodu wg zasad Clean Code (np. "Meaningful Variable and Function Names", "Keep Functions and Methods Short.)
• Doświadczenie z silnikami kolejek
• Znajomość powszechnie stosowanych formatów, algorytmów i struktur danych
Mile widziane
• Doświadczenie w pracy w chmurach publicznych (wykorzystujemy Google Cloud, natomiast jeśli znasz dobrze inną - na pewno dojdziemy do porozumienia)
• Znajomość technologii CI/CD oraz IaC (Terraform, Ansible)
To oferujemy
• Możliwość pracy nad kluczowym systemem płatniczym w Polsce, mającym realny wpływ na codzienne życie milionów użytkowników
• Autonomię w podejmowaniu decyzji technicznych i możliwość wprowadzania innowacyjnych rozwiązań
• Pracę w środowisku, które ceni wiedzę ekspercką, argumenty merytoryczne i wspiera kulturę ciągłego uczenia się
• Elastyczne godziny pracy, praca hybrydowa
• Pakiet standardowych benefitów (zawierający m.in. opiekę medyczną, ubezpieczenie na życie, naukę języka angielskiego, nieograniczony dostęp do dużej platformy e-learningowej, MyBenefit)
• Budżet szkoleniowy i konferencyjny
🔍 Dekoder Ogłoszenia
🔴
Praca przy tworzeniu globalnej platformy analitycznej w firmie, z myślą o skalowalności i kosztach.
Może oznaczać, że będziesz musiał optymalizować istniejące rozwiązania pod kątem wydajności i budżetu, a niekoniecznie budować od zera.
🟡
Projektowanie i rozwój data pipeline'ów (batch, streaming).
Wymaga to nie tylko umiejętności technicznych, ale także zrozumienia złożonych procesów przepływu danych i potencjalnych problemów.
🟡
Zbieranie, analiza i synteza wymagań od zespołów produktowych, analityków i Data Science.
Oznacza to, że będziesz musiał dużo komunikować się z różnymi działami i negocjować priorytety, co może być czasochłonne.
🟡
Propagowanie kultury data-driven w organizacji.
Może oznaczać, że będziesz musiał edukować innych i przekonywać do korzystania z danych, co wykracza poza czysto techniczne zadania.
🔴
Minimum 6 lat komercyjnego doświadczenia w programowaniu w języku Python lub Go
To wysoki próg, który może sugerować, że szukają kogoś z bardzo ugruntowaną wiedzą i umiejętnością samodzielnego rozwiązywania problemów.