Big Data Engineer (Spark)
⚲ Warszawa
598 500 - 703 500 PLN netto (B2B)
Wymagania
- BigData
- Spark
- Hive
- Java
- SQL
- TDD
- Python
- Scala
Opis stanowiska
Razem z naszym Partnerem, jednym z europejskich liderów w branży bankowej, poszukujemy osoby na stanowisko Big Data Engineer.
Projekty dotyczą bankowości B2B i B2C ➡️ platform dla dużych kredytów, pożyczek profesjonalnych oraz aplikacji wspierających transformację cyfrową.
💡 TWOJA ROLA:
• Projektowanie i implementacja pipeline’ów do ingestu, transformacji i przetwarzania dużych wolumenów danych.
• Industrializacja rozwiązań data processing z naciskiem na skalowalność, niezawodność i odporność na błędy.
• Rozwój i optymalizacja jobów Spark/Scala (przetwarzanie wsadowe, data mapping, tuning wydajności).
• Udział w projektowaniu architektury Big Data oraz rekomendowanie rozwiązań technologicznych.
• Analiza źródeł danych oraz przekładanie wymagań biznesowych na specyfikacje techniczne.
• Code review oraz dbałość o jakość kodu, standardy TDD/BDD i dobre praktyki DevOps.
• Wsparcie produkcyjne (L3), troubleshooting i identyfikacja ryzyk technicznych.
• Tworzenie dokumentacji i test planów w środowisku Agile/Scrum.
🔍 CZEGO OCZEKUJEMY OD CIEBIE?
•
Minimum 4 lata komercyjnego doświadczenia w obszarze Data Engineering lub Software Engineering w środowisku Big Data.
• Zaawansowana znajomość oraz praktyczne doświadczenie w pracy z Apache Spark, Hive oraz SQL.
• Głębokie zrozumienie i doświadczenie w tworzeniu testowalnego kodu zgodnie z podejściem TDD.
• Solidne doświadczenie w programowaniu w Scali (wyraźnie preferowane) lub Javie.
• Wykształcenie wyższe: Computer Science, Software Engineering lub pokrewne.
•
Bardzo dobra znajomość języka angielskiego (min. C1).
Nice to Have:
• CI/CD (Jenkins, GitLab CI lub podobne), Git flow, branching strategies.
• Python (szczególnie w kontekście Airflow i orkiestracji pipeline'ów).
• Doświadczenie z Azure (ADF, ADLS, Databricks lub pokrewne usługi).
• Doświadczenie w środowiskach SAFe / release train.
• Znajomość architektury mikroserwisowej i REST API.
✨ OFERUJEMY:
• 🤖 Nowoczesny proces rekrutacji z AI Rekruterem (AIR) - podczas aplikacji możesz odbyć rozmowę z wirtualnym rekruterem 24/7, bez czekania na telefon, z natychmiastowym feedbackiem i możliwością powtórzenia rozmowy (liczy się ostatnia wersja). Finalną decyzję zawsze podejmuje Rekruter Connectis.
• Udział w spotkaniach integracyjnych i meetupach technologicznych, dzielenie się wiedzą i doświadczeniem z szerszą społecznością inżynierską.
• Wsparcie dedykowanej osoby po stronie Connectis, która zawsze jest dostępna, by pomóc Ci w sprawach związanych z projektem.
• Pracę w międzynarodowym środowisku inżynierskim z wysoką kulturą jakości kodu (TDD, code review, clean code).
• Udział w dużym, wieloletnim projekcie modernizacji i migracji do chmury, realny wpływ na architekturę systemu.
• Codzienny kontakt z nowoczesnym stackiem Big Data w kontekście bankowości inwestycyjnej.
•
Pracę hybrydową w Warszawie (3 dni z biura, 2 dni zdalnie / tyg.)
• Nowoczesne, komfortowe biuro w Warszawie.
Dziękujemy za wszystkie zgłoszenia. Uprzejmie informujemy, że skontaktujemy się z wybranymi osobami.
12899/MG
Projekty dotyczą bankowości B2B i B2C ➡️ platform dla dużych kredytów, pożyczek profesjonalnych oraz aplikacji wspierających transformację cyfrową.
💡 TWOJA ROLA:
• Projektowanie i implementacja pipeline’ów do ingestu, transformacji i przetwarzania dużych wolumenów danych.
• Industrializacja rozwiązań data processing z naciskiem na skalowalność, niezawodność i odporność na błędy.
• Rozwój i optymalizacja jobów Spark/Scala (przetwarzanie wsadowe, data mapping, tuning wydajności).
• Udział w projektowaniu architektury Big Data oraz rekomendowanie rozwiązań technologicznych.
• Analiza źródeł danych oraz przekładanie wymagań biznesowych na specyfikacje techniczne.
• Code review oraz dbałość o jakość kodu, standardy TDD/BDD i dobre praktyki DevOps.
• Wsparcie produkcyjne (L3), troubleshooting i identyfikacja ryzyk technicznych.
• Tworzenie dokumentacji i test planów w środowisku Agile/Scrum.
🔍 CZEGO OCZEKUJEMY OD CIEBIE?
•
Minimum 4 lata komercyjnego doświadczenia w obszarze Data Engineering lub Software Engineering w środowisku Big Data.
• Zaawansowana znajomość oraz praktyczne doświadczenie w pracy z Apache Spark, Hive oraz SQL.
• Głębokie zrozumienie i doświadczenie w tworzeniu testowalnego kodu zgodnie z podejściem TDD.
• Solidne doświadczenie w programowaniu w Scali (wyraźnie preferowane) lub Javie.
• Wykształcenie wyższe: Computer Science, Software Engineering lub pokrewne.
•
Bardzo dobra znajomość języka angielskiego (min. C1).
Nice to Have:
• CI/CD (Jenkins, GitLab CI lub podobne), Git flow, branching strategies.
• Python (szczególnie w kontekście Airflow i orkiestracji pipeline'ów).
• Doświadczenie z Azure (ADF, ADLS, Databricks lub pokrewne usługi).
• Doświadczenie w środowiskach SAFe / release train.
• Znajomość architektury mikroserwisowej i REST API.
✨ OFERUJEMY:
• 🤖 Nowoczesny proces rekrutacji z AI Rekruterem (AIR) - podczas aplikacji możesz odbyć rozmowę z wirtualnym rekruterem 24/7, bez czekania na telefon, z natychmiastowym feedbackiem i możliwością powtórzenia rozmowy (liczy się ostatnia wersja). Finalną decyzję zawsze podejmuje Rekruter Connectis.
• Udział w spotkaniach integracyjnych i meetupach technologicznych, dzielenie się wiedzą i doświadczeniem z szerszą społecznością inżynierską.
• Wsparcie dedykowanej osoby po stronie Connectis, która zawsze jest dostępna, by pomóc Ci w sprawach związanych z projektem.
• Pracę w międzynarodowym środowisku inżynierskim z wysoką kulturą jakości kodu (TDD, code review, clean code).
• Udział w dużym, wieloletnim projekcie modernizacji i migracji do chmury, realny wpływ na architekturę systemu.
• Codzienny kontakt z nowoczesnym stackiem Big Data w kontekście bankowości inwestycyjnej.
•
Pracę hybrydową w Warszawie (3 dni z biura, 2 dni zdalnie / tyg.)
• Nowoczesne, komfortowe biuro w Warszawie.
Dziękujemy za wszystkie zgłoszenia. Uprzejmie informujemy, że skontaktujemy się z wybranymi osobami.
12899/MG
🔍 Dekoder Ogłoszenia
🟡
Industrializacja rozwiązań data processing z naciskiem na skalowalność, niezawodność i odporność na błędy.
Oczekuje się, że będziesz tworzyć rozwiązania, które nie tylko działają, ale są też gotowe do produkcji na dużą skalę i odporne na awarie.
🔴
Rozwój i optymalizacja jobów Spark/Scala (przetwarzanie wsadowe, data mapping, tuning wydajności).
Może oznaczać zarówno tworzenie nowych procesów, jak i intensywne debugowanie i optymalizację istniejących, często problematycznych zadań.
🟢
Udział w projektowaniu architektury Big Data oraz rekomendowanie rozwiązań technologicznych.
Oprócz implementacji, będziesz mieć wpływ na wybór technologii i kształtowanie przyszłych rozwiązań, co wymaga szerokiej wiedzy i umiejętności argumentacji.
🔴
Wsparcie produkcyjne (L3), troubleshooting i identyfikacja ryzyk technicznych.
Będziesz odpowiedzialny za rozwiązywanie najtrudniejszych problemów produkcyjnych, co może oznaczać pracę pod presją czasu i rozwiązywanie złożonych, nieprzewidzianych błędów.
🔴
Głębokie zrozumienie i doświadczenie w tworzeniu testowalnego kodu zgodnie z podejściem TDD.
Oczekuje się nie tylko znajomości TDD, ale faktycznego, praktycznego stosowania tej metodyki w codziennej pracy, co może być wyzwaniem dla osób przyzwyczajonych do innych podejść.