Big Data Engineer (energy)
⚲ Białystok, Kielce, Lublin, Warszawa
Do uzgodnienia
Wymagania
- Google Cloud Platform
- BigQuery
- Python
- SQL
- MySQL
- Parquet
- PostgreSQL
Opis stanowiska
About the project
Dla naszego klienta z branży energetycznej poszukujemy doświadczonego Data Engineera, który będzie odpowiedzialny za wsparcie zespołu projektowego oraz utrzymaniowego w zadaniach związanych z budową, rozwojem i utrzymaniem platformy CDP w technologii Data Lakehouse (GCP).
Our expectations
• Znajomość Google Cloud Platform: kluczowych usług Data & Analytics
• Znajomość BigQuery: wykorzystanie do przechowywania, przetwarzania i analizy danych (Bronze, Silver, Gold layers), w tym tabele zewnętrzne, partycjonowanie, klastrowanie, optymalizacja zapytań.
• Znajomość Pythona, w tym bibliotek do przetwarzania danych (Pandas).
• Znajomość SQL, MySQL, PostgreSQL, MS SQL Server
• Zarządzanie danymi w różnych formatach (Parquet, JSON, CSV) i klasach przechowywania.
• Projektowanie, implementacja i optymalizacja potoków ETL/ELT (zarówno batch, jak i streaming) w Pythonie.
• Tworzenie i zarządzanie DAGami do orkiestracji złożonych przepływów danych, monitorowanie zadań.
• Zrozumienie mechanizmów CDC (Change Data Capture) i replikacji danych (z MySQL do BigQuery).
• Znajomość zarządzania metadanymi, katalogowania danych, Data Quality (DQ) i Data Lineage.
• Zrozumienie zasad zarządzania jakością danych, bezpieczeństwa danych, prywatności i zgodności (RODO).
• Praca z systemami kolejkowania komunikatów do integracji strumieniowej.
• Doświadczenie w tworzeniu, testowaniu i zarządzaniu transformacjami danych w SQL w BigQuery.
• Doświadczenie w implementacji i utrzymaniu architektury medalionowej.
• Znajomość systemów kontroli wersji Git (strategie branchingu, Pull Requests).
• Zrozumienie procesów Continuous Integration i Continuous Deployment (np. z użyciem Cloud Build).
• Swobodna komunikacja w Językach polskim i angielski (min. poziom B2)
• Gotowść do okazjonalnej pracy z biura klienta w Warszawie (1-2 razy w miesiącu)
Dla naszego klienta z branży energetycznej poszukujemy doświadczonego Data Engineera, który będzie odpowiedzialny za wsparcie zespołu projektowego oraz utrzymaniowego w zadaniach związanych z budową, rozwojem i utrzymaniem platformy CDP w technologii Data Lakehouse (GCP).
Our expectations
• Znajomość Google Cloud Platform: kluczowych usług Data & Analytics
• Znajomość BigQuery: wykorzystanie do przechowywania, przetwarzania i analizy danych (Bronze, Silver, Gold layers), w tym tabele zewnętrzne, partycjonowanie, klastrowanie, optymalizacja zapytań.
• Znajomość Pythona, w tym bibliotek do przetwarzania danych (Pandas).
• Znajomość SQL, MySQL, PostgreSQL, MS SQL Server
• Zarządzanie danymi w różnych formatach (Parquet, JSON, CSV) i klasach przechowywania.
• Projektowanie, implementacja i optymalizacja potoków ETL/ELT (zarówno batch, jak i streaming) w Pythonie.
• Tworzenie i zarządzanie DAGami do orkiestracji złożonych przepływów danych, monitorowanie zadań.
• Zrozumienie mechanizmów CDC (Change Data Capture) i replikacji danych (z MySQL do BigQuery).
• Znajomość zarządzania metadanymi, katalogowania danych, Data Quality (DQ) i Data Lineage.
• Zrozumienie zasad zarządzania jakością danych, bezpieczeństwa danych, prywatności i zgodności (RODO).
• Praca z systemami kolejkowania komunikatów do integracji strumieniowej.
• Doświadczenie w tworzeniu, testowaniu i zarządzaniu transformacjami danych w SQL w BigQuery.
• Doświadczenie w implementacji i utrzymaniu architektury medalionowej.
• Znajomość systemów kontroli wersji Git (strategie branchingu, Pull Requests).
• Zrozumienie procesów Continuous Integration i Continuous Deployment (np. z użyciem Cloud Build).
• Swobodna komunikacja w Językach polskim i angielski (min. poziom B2)
• Gotowść do okazjonalnej pracy z biura klienta w Warszawie (1-2 razy w miesiącu)
🔍 Dekoder Ogłoszenia
🔴
wsparcie zespołu projektowego oraz utrzymaniowego
Może oznaczać zarówno pracę nad nowymi funkcjonalnościami, jak i rozwiązywanie bieżących problemów i utrzymanie istniejących rozwiązań, co może być mniej ekscytujące.
🔴
budową, rozwojem i utrzymaniem platformy CDP
Zakres obowiązków jest szeroki i obejmuje cały cykl życia platformy, co może oznaczać dużą odpowiedzialność i różnorodność zadań, ale też potencjalnie przeciążenie.
🔴
kluczowych usług Data & Analytics
Określenie 'kluczowych' jest subiektywne i może oznaczać, że oczekiwana jest bardzo dogłębna znajomość wszystkich usług, a nie tylko podstawowa.
🔴
zarządzanie danymi w różnych formatach (Parquet, JSON, CSV) i klasach przechowywania.
Może oznaczać konieczność pracy z dużą ilością danych o różnej strukturze i jakości, co wymaga staranności i umiejętności radzenia sobie z nieporządkiem.
🔴
implementacji i utrzymaniu archi
Fragment jest niekompletny, co sugeruje pośpiech w tworzeniu ogłoszenia lub brak doprecyzowania ważnych obowiązków, co może prowadzić do niejasności co do zakresu pracy.