Data Engineer
⚲ Warszawa, Wola
142–155 zł netto (+ VAT) / godz.
Wymagania
- Microsoft Azure
- Azure DevOps
- Python
- Spark
- PySpark
- SQL
- Terraform
- Docker
- Kubernetes
Opis stanowiska
Nasze wymagania:
Minimum 4 lata doświadczenia w realizacji projektów jako Data Engineer.
Komunikatywna znajomość języka angielskiego umożliwiająca współpracę w środowisku międzynarodowym.
Znajomość usług Microsoft Azure, w szczególności Azure Databricks oraz Azure DevOps.
Doświadczenie w projektowaniu i budowie rozwiązań dla dużych zbiorów danych.
Doświadczenie w budowie i optymalizacji procesów ETL/ELT.
Praktyczna znajomość Python, Spark, PySpark oraz SQL.
Mile widziane:
Doświadczenie w projektowaniu i utrzymaniu rozwiązań CI/CD.
Znajomość modelowania danych w oparciu o Data Vault 2.0.
Znajomość Terraform, Docker oraz Kubernetes.
Doświadczenie z DBT (Data Build Tool).
O projekcie:
Wspólnie z naszym Partnerem, międzynarodową organizacją z branży ubezpieczeniowej realizującą strategiczne inicjatywy transformacji danych w wielu krajach, poszukujemy doświadczonego/ej specjalisty/ki do realizacji projektów jako Data Engineer.
Projekt obejmuje budowę i rozwój platformy DataHub opartej o architekturę medalionową (Bronze/Silver/Gold) oraz model Data Vault 2.0, wspierającej integrację i przetwarzanie danych na potrzeby wielu obszarów biznesowych.
Zakres obowiązków:
Dostarczanie rekomendacji dotyczących optymalizacji wydajności, przechowywania oraz przetwarzania danych, na podstawie ustaleń z interesariuszami projektu.
Projektowanie i wdrażanie skalowalnych Data Hubów w środowisku Azure oraz Azure Databricks, zapewniających efektywną integrację danych z wielu źródeł.
Zaprojektowane i wdrożone modele danych zgodne z architekturą Data Vault 2.0, umożliwiające dalszy rozwój i standaryzację platformy danych.
Rozwiązania do walidacji danych, wykrywania anomalii i monitorowania jakości danych, dostarczone wraz z mechanizmami raportowania.
Dokumentacja modeli danych, potoków przetwarzania oraz decyzji architektonicznych, przygotowana zgodnie ze standardami projektu.
Opracowane i utrzymane procesy przetwarzania danych wspierające analitykę oraz raportowanie w czasie rzeczywistym.
Tworzenie oraz optymalizacja potoków ETL/ELT w Spark i PySpark.
Oferujemy:
Nowy sposób na aplikowanie z AI Rekruterem (AIR) – w trakcie procesu możesz porozmawiać z wirtualnym rekruterem 24/7, bez czekania na telefon. Finalną decyzję zawsze podejmuje Opiekun Projektu.
🌍 Gotowość do spotkań koordynacyjnych w Warszawie (centrum miasta) – częstotliwość i termin do uzgodnienia; miejsce i czas świadczenia usług do uzgodnienia.
Realizacja usług w ramach strategicznego programu budowy platform danych dla międzynarodowej organizacji z branży ubezpieczeniowej.
Współpraca realizowana w modelu projektowym, z rozliczeniem opartym na etapach i protokołach odbioru poszczególnych deliverables.
Uczestnictwo w wydarzeniach branżowych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem.
Wsparcie po stronie Connectis w sprawach administracyjnych i rozliczeniowych związanych ze współpracą.
Realizacja usług na rzecz Partnera w obszarze Data Engineering, Data Platform oraz DevOps.
5 000 PLN za polecenie znajomych do naszych projektów.
Elastyczna forma współpracy B2B.
Szybki i zdalny proces.
Minimum 4 lata doświadczenia w realizacji projektów jako Data Engineer.
Komunikatywna znajomość języka angielskiego umożliwiająca współpracę w środowisku międzynarodowym.
Znajomość usług Microsoft Azure, w szczególności Azure Databricks oraz Azure DevOps.
Doświadczenie w projektowaniu i budowie rozwiązań dla dużych zbiorów danych.
Doświadczenie w budowie i optymalizacji procesów ETL/ELT.
Praktyczna znajomość Python, Spark, PySpark oraz SQL.
Mile widziane:
Doświadczenie w projektowaniu i utrzymaniu rozwiązań CI/CD.
Znajomość modelowania danych w oparciu o Data Vault 2.0.
Znajomość Terraform, Docker oraz Kubernetes.
Doświadczenie z DBT (Data Build Tool).
O projekcie:
Wspólnie z naszym Partnerem, międzynarodową organizacją z branży ubezpieczeniowej realizującą strategiczne inicjatywy transformacji danych w wielu krajach, poszukujemy doświadczonego/ej specjalisty/ki do realizacji projektów jako Data Engineer.
Projekt obejmuje budowę i rozwój platformy DataHub opartej o architekturę medalionową (Bronze/Silver/Gold) oraz model Data Vault 2.0, wspierającej integrację i przetwarzanie danych na potrzeby wielu obszarów biznesowych.
Zakres obowiązków:
Dostarczanie rekomendacji dotyczących optymalizacji wydajności, przechowywania oraz przetwarzania danych, na podstawie ustaleń z interesariuszami projektu.
Projektowanie i wdrażanie skalowalnych Data Hubów w środowisku Azure oraz Azure Databricks, zapewniających efektywną integrację danych z wielu źródeł.
Zaprojektowane i wdrożone modele danych zgodne z architekturą Data Vault 2.0, umożliwiające dalszy rozwój i standaryzację platformy danych.
Rozwiązania do walidacji danych, wykrywania anomalii i monitorowania jakości danych, dostarczone wraz z mechanizmami raportowania.
Dokumentacja modeli danych, potoków przetwarzania oraz decyzji architektonicznych, przygotowana zgodnie ze standardami projektu.
Opracowane i utrzymane procesy przetwarzania danych wspierające analitykę oraz raportowanie w czasie rzeczywistym.
Tworzenie oraz optymalizacja potoków ETL/ELT w Spark i PySpark.
Oferujemy:
Nowy sposób na aplikowanie z AI Rekruterem (AIR) – w trakcie procesu możesz porozmawiać z wirtualnym rekruterem 24/7, bez czekania na telefon. Finalną decyzję zawsze podejmuje Opiekun Projektu.
🌍 Gotowość do spotkań koordynacyjnych w Warszawie (centrum miasta) – częstotliwość i termin do uzgodnienia; miejsce i czas świadczenia usług do uzgodnienia.
Realizacja usług w ramach strategicznego programu budowy platform danych dla międzynarodowej organizacji z branży ubezpieczeniowej.
Współpraca realizowana w modelu projektowym, z rozliczeniem opartym na etapach i protokołach odbioru poszczególnych deliverables.
Uczestnictwo w wydarzeniach branżowych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem.
Wsparcie po stronie Connectis w sprawach administracyjnych i rozliczeniowych związanych ze współpracą.
Realizacja usług na rzecz Partnera w obszarze Data Engineering, Data Platform oraz DevOps.
5 000 PLN za polecenie znajomych do naszych projektów.
Elastyczna forma współpracy B2B.
Szybki i zdalny proces.
🔍 Dekoder Ogłoszenia
🔴
realizację projektów jako Data Engineer
Może oznaczać zarówno samodzielne prowadzenie projektów, jak i bycie częścią większego zespołu, gdzie zakres odpowiedzialności jest mniejszy.
🔴
Doświadczenie w projektowaniu i budowie rozwiązań dla dużych zbiorów danych.
Może oznaczać pracę z terabajtami danych, ale równie dobrze może odnosić się do projektów, które są 'duże' w kontekście firmy, a niekoniecznie w skali przemysłowej.
🔴
Dostarczanie rekomendacji dotyczących optymalizacji wydajności, przechowywania oraz przetwarzania danych, na podstawie ustaleń z interesariuszami projektu.
Może oznaczać, że będziesz miał duży wpływ na decyzje techniczne, ale równie dobrze może oznaczać, że będziesz zbierał wymagania i przedstawiał je w formie rekomendacji, które mogą być później odrzucone.
🔴
Wspólnie z naszym Partnerem, międzynarodową organizacją z branży ubezpieczeniowej realizującą strategiczne inicjatywy transformacji danych w wielu krajach
Projekt może być bardzo duży i złożony, ale też wymagać dużej elastyczności i adaptacji do różnych wymagań biznesowych i regulacyjnych.