Data Engineer
⚲ Warszawa, Gdańsk
Do uzgodnienia
Wymagania
- Scala
- Apache Spark
- Apache Hadoop
- Apache Kafka
- Jenkins
- SQL
- Git
Opis stanowiska
Poszukujemy osoby na stanowisko Data Engineer do projektu realizowanego w międzynarodowym środowisku technologicznym. Osoba na tym stanowisku będzie odpowiedzialna za rozwój i utrzymanie rozwiązań przetwarzania danych w środowisku Big Data, budowę procesów integracyjnych oraz współpracę z zespołami odpowiedzialnymi za rozwój platform danych.
Zakres obowiązków
• Projektowanie, rozwój i utrzymanie rozwiązań Data Engineering.
• Tworzenie i rozwijanie procesów przetwarzania oraz integracji danych.
• Budowa i optymalizacja pipeline’ów danych.
• Implementacja wymagań biznesowych w postaci procesów i transformacji danych.
• Tworzenie oraz utrzymanie workflowów i procesów automatyzacji.
• Rozwój oraz utrzymanie procesów CI/CD.
• Współpraca z zespołami technicznymi i biznesowymi przy analizie wymagań oraz rozwiązywaniu problemów.
• Wsparcie środowisk produkcyjnych oraz analiza incydentów.
• Dbanie o jakość, wydajność i niezawodność dostarczanych rozwiązań.
Wymagania
• Minimum kilkuletnie doświadczenie na stanowisku Data Engineer lub pokrewnym.
• Bardzo dobra znajomość Scala.
• Doświadczenie w pracy z Apache Hadoop oraz Apache Spark.
• Praktyczna znajomość Apache Kafka.
• Doświadczenie w budowaniu i utrzymaniu procesów CI/CD z wykorzystaniem Jenkins.
• Znajomość SQL oraz zagadnień związanych z przetwarzaniem dużych wolumenów danych.
• Doświadczenie w pracy z systemami kontroli wersji Git.
• Umiejętność pracy w środowisku międzynarodowym.
• Komunikatywna znajomość języka angielskiego.
Mile widziane:
• Doświadczenie z Kubernetes.
• Znajomość Apache Flink.
• Doświadczenie w pracy z Airflow lub Oozie.
Zakres obowiązków
• Projektowanie, rozwój i utrzymanie rozwiązań Data Engineering.
• Tworzenie i rozwijanie procesów przetwarzania oraz integracji danych.
• Budowa i optymalizacja pipeline’ów danych.
• Implementacja wymagań biznesowych w postaci procesów i transformacji danych.
• Tworzenie oraz utrzymanie workflowów i procesów automatyzacji.
• Rozwój oraz utrzymanie procesów CI/CD.
• Współpraca z zespołami technicznymi i biznesowymi przy analizie wymagań oraz rozwiązywaniu problemów.
• Wsparcie środowisk produkcyjnych oraz analiza incydentów.
• Dbanie o jakość, wydajność i niezawodność dostarczanych rozwiązań.
Wymagania
• Minimum kilkuletnie doświadczenie na stanowisku Data Engineer lub pokrewnym.
• Bardzo dobra znajomość Scala.
• Doświadczenie w pracy z Apache Hadoop oraz Apache Spark.
• Praktyczna znajomość Apache Kafka.
• Doświadczenie w budowaniu i utrzymaniu procesów CI/CD z wykorzystaniem Jenkins.
• Znajomość SQL oraz zagadnień związanych z przetwarzaniem dużych wolumenów danych.
• Doświadczenie w pracy z systemami kontroli wersji Git.
• Umiejętność pracy w środowisku międzynarodowym.
• Komunikatywna znajomość języka angielskiego.
Mile widziane:
• Doświadczenie z Kubernetes.
• Znajomość Apache Flink.
• Doświadczenie w pracy z Airflow lub Oozie.
🔍 Dekoder Ogłoszenia
🟡
międzynarodowym środowisku technologicznym
Może oznaczać pracę z ludźmi z różnych krajów, ale też potencjalne bariery językowe i kulturowe.
🔴
rozwój i utrzymanie rozwiązań przetwarzania danych w środowisku Big Data
Może oznaczać zarówno tworzenie nowych, innowacyjnych rozwiązań, jak i głównie utrzymanie istniejących, często starszych systemów.
🟡
współpracę z zespołami odpowiedzialnymi za rozwój platform danych
Może oznaczać ścisłą współpracę i współtworzenie, ale też bycie 'na usługach' innych zespołów, realizując ich zlecenia.
🔴
Implementacja wymagań biznesowych w postaci procesów i transformacji danych.
Często oznacza konieczność tłumaczenia niejasnych lub zmieniających się wymagań biznesowych na konkretne rozwiązania techniczne.
🔴
Wsparcie środowisk produkcyjnych oraz analiza incydentów.
Może oznaczać dyżury i konieczność reagowania na problemy w systemach produkcyjnych poza standardowymi godzinami pracy.