Inżynier Danych / Data Engineer (k/m)
⚲ Warszawa, Targówek
Do uzgodnienia
Wymagania
- SQL
- Python
- PostgreSQL
Opis stanowiska
Nasze wymagania:
ETL/ELT: Praktyczna umiejętność projektowania i edycji złożonych procesów przepływu danych.
Modelowanie danych: Biegłość w projektowaniu struktur bazodanowych oraz znajomość technologii OLAP (przetwarzanie analityczne).
Airflow: Bardzo dobra znajomość narzędzia Apache Airflow w zakresie budowy DAG-ów oraz administracji środowiskiem.
Konteneryzacja: Praktyczna znajomość środowisk Docker (tworzenie i modyfikacja obrazów, zarządzanie kontenerami).
SQL & Validation: Zaawansowana znajomość SQL oraz umiejętność projektowania systemów kontroli jakości danych.
Mile widziane:
Doświadczenie w pracy z dbt (data build tool) i pisanie czystego kodu w języku Python.
Znajomość narzędzia Apache Superset do wizualizacji i eksploracji danych.
Znajomość środowiska bazodanowego PostgreSQL
Doświadczenie w pracy z zewnętrznymi API
Zakres obowiązków:
Projektowanie i rozwój: Tworzenie oraz optymalizacja procesów ETL/ELT z wykorzystaniem technologii dbt (data build tool) oraz Python.
Architektura danych: Projektowanie i rozwój struktur bazodanowych (hurtowni danych) dedykowanych pod zaawansowaną analitykę i raportowanie.
Orkiestracja: Pełne utrzymanie platformy Apache Airflow (konfiguracja, aktualizacje, wdrażanie nowych funkcjonalności).
DevOps & Docker: Zarządzanie i edycja środowisk kontenerowych (Docker) w celu zapewnienia stabilności procesów przetwarzania danych.
Jakość danych: Implementacja i nadzór nad procesami walidacji danych wewnątrz baz danych.
ETL/ELT: Praktyczna umiejętność projektowania i edycji złożonych procesów przepływu danych.
Modelowanie danych: Biegłość w projektowaniu struktur bazodanowych oraz znajomość technologii OLAP (przetwarzanie analityczne).
Airflow: Bardzo dobra znajomość narzędzia Apache Airflow w zakresie budowy DAG-ów oraz administracji środowiskiem.
Konteneryzacja: Praktyczna znajomość środowisk Docker (tworzenie i modyfikacja obrazów, zarządzanie kontenerami).
SQL & Validation: Zaawansowana znajomość SQL oraz umiejętność projektowania systemów kontroli jakości danych.
Mile widziane:
Doświadczenie w pracy z dbt (data build tool) i pisanie czystego kodu w języku Python.
Znajomość narzędzia Apache Superset do wizualizacji i eksploracji danych.
Znajomość środowiska bazodanowego PostgreSQL
Doświadczenie w pracy z zewnętrznymi API
Zakres obowiązków:
Projektowanie i rozwój: Tworzenie oraz optymalizacja procesów ETL/ELT z wykorzystaniem technologii dbt (data build tool) oraz Python.
Architektura danych: Projektowanie i rozwój struktur bazodanowych (hurtowni danych) dedykowanych pod zaawansowaną analitykę i raportowanie.
Orkiestracja: Pełne utrzymanie platformy Apache Airflow (konfiguracja, aktualizacje, wdrażanie nowych funkcjonalności).
DevOps & Docker: Zarządzanie i edycja środowisk kontenerowych (Docker) w celu zapewnienia stabilności procesów przetwarzania danych.
Jakość danych: Implementacja i nadzór nad procesami walidacji danych wewnątrz baz danych.
🔍 Dekoder Ogłoszenia
🔴
Praktyczna umiejętność projektowania i edycji złożonych procesów przepływu danych.
Może oznaczać zarówno tworzenie od zera, jak i głównie modyfikowanie istniejących, często niedoskonałych, rozwiązań.
🔴
Biegłość w projektowaniu struktur bazodanowych oraz znajomość technologii OLAP (przetwarzanie analityczne).
Może sugerować potrzebę projektowania od podstaw, a nie tylko pracy z istniejącymi schematami.
🔴
Bardzo dobra znajomość narzędzia Apache Airflow w zakresie budowy DAG-ów oraz administracji środowiskiem.
Oprócz pisania DAGów, może oznaczać pełną odpowiedzialność za infrastrukturę Airflow, w tym instalację i utrzymanie.
🔴
Pełne utrzymanie platformy Apache Airflow (konfiguracja, aktualizacje, wdrażanie nowych funkcjonalności).
Potwierdza, że rola obejmuje nie tylko pisanie kodu, ale także zarządzanie infrastrukturą i rozwiązywanie problemów związanych z działaniem platformy.
🔴
Zarządzanie i edycja środowisk kontenerowych (Docker) w celu zapewnienia stabilności procesów przetwarzania danych.
Może oznaczać konieczność samodzielnego budowania i utrzymywania obrazów Docker, a nie tylko używania gotowych.