Senior Data Engineer
⚲ Warszawa
20 160 - 24 360 PLN (B2B)
Wymagania
- ETL
- Oracle
- PostgreSQL
- CA
- BigQuery
- Informatica PowerCenter
- Kafka
- PUB (nice to have)
- Linux (nice to have)
- Python (nice to have)
- Airflow (nice to have)
- Apache Spark (nice to have)
Opis stanowiska
O projekcie:
Devire Outsourcing IT to forma współpracy dedykowana dla specjalistów z branży IT, oparta na zasadach własnej działalności gospodarczej - B2B, realizująca projekty dla wiodących Klientów prowadzących innowacyjne i nowoczesne projekty.
Obecnie, dla naszego Klienta - jednego z największych banków w Polsce, poszukujemy osoby na stanowisko Senior Data Engineer.
- Stawka: 120-145zł/h netto + VAT
- Model pracy: hybrydowy (1 dzień w tygodniu z warszawskiego biura)
- Kontrakt B2B via Devire.
- Praca hybrydowa (jeden dzień w tygodniu z warszawskiego biura).
- Współpraca w międzynarodowym środowisku.
- Pakiet benefitów.
- Elastyczne godziny pracy.
- Długofalowa współpraca.
Wymagania:
- Doświadczenie w projektowaniu i budowie nowoczesnych hurtowni danych.
- Praktyczna wiedza z zakresu budowy pipeline'ów ETL/ELT.
- Ekspercka znajomość relacyjnych baz danych Oracle i PostgreSQL, obejmująca projektowanie, budowę oraz tuning baz danych.
- Doświadczenie w pracy z Google BigQuery.
- Znajomość narzędzia Informatica PowerCenter.
- Doświadczenie z technologiami architektury sterowanej zdarzeniami (Kafka, Pub/Sub).
- Zaawansowana znajomość systemu Linux.
Mile widziana znajomość:
- AutomatenNow
- Python
- AirFlow
- Rust2
- Apache Spark
Codzienne zadania:
- Projektowanie, budowa i rozwój rozwiązań klasy Data Lake oraz Data Warehouse.
- Projektowanie i realizacja rozwiązań informatycznych w obszarze integracji oraz zasilania danych.
- Analiza danych oraz opracowywanie modeli logicznych i fizycznych.
- Optymalizacja i tuning zapytań SQL dla relacyjnych baz danych oraz hurtowni danych w środowiskach on-premise i Google Cloud Platform (GCP).
- Projektowanie i implementacja procesów przetwarzania danych on-line i off-line z wykorzystaniem narzędzi on-premise oraz GCP.
- Tworzenie rozwiązań do ładowania danych strukturalnych i niestrukturalnych z wykorzystaniem języków Python oraz Rust.
- Projektowanie i rozwój tematycznych Data Martów na relacyjnych i kolumnowych bazach danych.
- Opracowywanie koncepcji oraz implementacja rozwiązań zgodnie z wymaganiami biznesowymi.
- Analiza, diagnozowanie i usuwanie incydentów oraz udział w rozwiązywaniu problemów produkcyjnych.
- Wsparcie procesu testowania oraz wdrażania zmian w obszarze procesów zasilania danych.
- Utrzymanie i serwisowanie wdrożonych rozwiązań oraz wsparcie ich dalszego rozwoju.
- Praca zgodnie z metodyką DevSecOps.
Devire Outsourcing IT to forma współpracy dedykowana dla specjalistów z branży IT, oparta na zasadach własnej działalności gospodarczej - B2B, realizująca projekty dla wiodących Klientów prowadzących innowacyjne i nowoczesne projekty.
Obecnie, dla naszego Klienta - jednego z największych banków w Polsce, poszukujemy osoby na stanowisko Senior Data Engineer.
- Stawka: 120-145zł/h netto + VAT
- Model pracy: hybrydowy (1 dzień w tygodniu z warszawskiego biura)
- Kontrakt B2B via Devire.
- Praca hybrydowa (jeden dzień w tygodniu z warszawskiego biura).
- Współpraca w międzynarodowym środowisku.
- Pakiet benefitów.
- Elastyczne godziny pracy.
- Długofalowa współpraca.
Wymagania:
- Doświadczenie w projektowaniu i budowie nowoczesnych hurtowni danych.
- Praktyczna wiedza z zakresu budowy pipeline'ów ETL/ELT.
- Ekspercka znajomość relacyjnych baz danych Oracle i PostgreSQL, obejmująca projektowanie, budowę oraz tuning baz danych.
- Doświadczenie w pracy z Google BigQuery.
- Znajomość narzędzia Informatica PowerCenter.
- Doświadczenie z technologiami architektury sterowanej zdarzeniami (Kafka, Pub/Sub).
- Zaawansowana znajomość systemu Linux.
Mile widziana znajomość:
- AutomatenNow
- Python
- AirFlow
- Rust2
- Apache Spark
Codzienne zadania:
- Projektowanie, budowa i rozwój rozwiązań klasy Data Lake oraz Data Warehouse.
- Projektowanie i realizacja rozwiązań informatycznych w obszarze integracji oraz zasilania danych.
- Analiza danych oraz opracowywanie modeli logicznych i fizycznych.
- Optymalizacja i tuning zapytań SQL dla relacyjnych baz danych oraz hurtowni danych w środowiskach on-premise i Google Cloud Platform (GCP).
- Projektowanie i implementacja procesów przetwarzania danych on-line i off-line z wykorzystaniem narzędzi on-premise oraz GCP.
- Tworzenie rozwiązań do ładowania danych strukturalnych i niestrukturalnych z wykorzystaniem języków Python oraz Rust.
- Projektowanie i rozwój tematycznych Data Martów na relacyjnych i kolumnowych bazach danych.
- Opracowywanie koncepcji oraz implementacja rozwiązań zgodnie z wymaganiami biznesowymi.
- Analiza, diagnozowanie i usuwanie incydentów oraz udział w rozwiązywaniu problemów produkcyjnych.
- Wsparcie procesu testowania oraz wdrażania zmian w obszarze procesów zasilania danych.
- Utrzymanie i serwisowanie wdrożonych rozwiązań oraz wsparcie ich dalszego rozwoju.
- Praca zgodnie z metodyką DevSecOps.
🔍 Dekoder Ogłoszenia
🔴
innowacyjne i nowoczesne projekty
Może oznaczać projekty, które są w fazie koncepcyjnej i nie są jeszcze w pełni zdefiniowane, co może prowadzić do niepewności co do zakresu i kierunku.
🟡
wiodących Klientów
Wskazuje na dużą firmę, ale niekoniecznie na to, że projekt będzie ambitny lub technicznie zaawansowany.
🔴
Elastyczne godziny pracy
Może oznaczać, że oczekuje się od Ciebie pracy poza standardowymi godzinami, jeśli zajdzie taka potrzeba, aby dotrzymać terminów.
🟡
Długofalowa współpraca
Choć brzmi pozytywnie, może oznaczać, że projekt jest stabilny, ale potencjalnie mniej dynamiczny lub z ograniczonymi możliwościami rozwoju w innych obszarach.
🔴
Codzienne zadania: Analiza danych oraz opracowywanie modeli logi
Określenie 'modele logi' jest nieprecyzyjne i może oznaczać zarówno proste modele, jak i bardziej złożone, co wymaga doprecyzowania.