Data Engineer z GCP (f/m/x)
⚲ Białystok, Centrum, Bydgoszcz, Gdańsk, Oliwa, Katowice, Kraków, Podgórze, Lublin, Łódź, Śródmieście, Piła, Poznań, Wilda, Rzeszów, Szczecin, Toruń, Warszawa, Mokotów, Wrocław, Fabryczna
Do uzgodnienia
Wymagania
- BigQuery
- Cloud Computing
- SQL
- Python
- IaC (Infrastructure as Code)
- Google Cloud Platform
- Terraform
- Data Built Tool
- Apache Spark
- Databricks
- Snowflake
- Microsoft Fabric
- Cloud Composer
- Apache Airflow
Opis stanowiska
Nasze wymagania:
Min. 4 lata doświadczenia w roli Data Engineer lub na podobnym stanowisku przy pracy z danymi w środowisku produkcyjnym
Bardzo dobra znajomość Google Cloud Platform, w szczególności: BigQuery (modelowanie danych, optymalizacja zapytań) oraz Cloud Storage
Umiejętność projektowania, budowy i utrzymania pipeline’ów danych (batch i/lub streaming)
Bardzo dobra znajomość SQL oraz Pythona w kontekście przetwarzania i orkiestracji danych
Doświadczenie w obszarze orkiestracji workflow (Apache Airflow / Cloud Composer)
Praktyka w implementacji CI/CD dla rozwiązań data, np. GitHub Actions, GitLab CI, Cloud Build
Znajomość podejścia Infrastructure as Code, ze wskazaniem na Terraform
Wcześniejsza praca z dużymi wolumenami danych, z uwzględnieniem wydajności i niezawodności rozwiązań
Swobodna komunikacja w języku angielskim
Wymagane przebywanie na terenie Polski oraz płynna znajomość języka polskiego
Mile widziane:
Praktyczne doświadczenie w przetwarzaniu danych streamingowych (np. Dataflow / Apache Beam, Pub/Sub)
Biegłość w Apache Spark / PySpark przy pracy z dużymi wolumenami danych
Kompetencje w zakresie transformacji i modelowania danych z wykorzystaniem narzędzi takich jak dbt
Umiejętność pracy z różnorodnymi platformami danych (np. Databricks, Snowflake, MS Fabric)
Orientacja w narzędziach oraz dobrych praktykach z obszaru Data Governance, Data Lineage i Data Quality
O projekcie:
Chcesz rozwijać się w technologiach chmurowych i pracować na realnych danych? Dołącz do naszego zespołu Data & Analytics, gdzie budujemy i rozwijamy rozwiązania oparte na GCP. Pracuj z ekspertami, rozwijaj się w kierunku Data Engineeringu, Big Data lub Machine Learningu i miej realny wpływ na projekty.
Zakres obowiązków:
Projektowanie, implementacja i utrzymanie skalowalnych pipeline’ów danych w oparciu o Google Cloud Platform
Praca z BigQuery jako główną hurtownią danych: modelowanie danych, optymalizacja zapytań i kosztów, dbanie o wydajność oraz niezawodność rozwiązań
Integracja danych z różnych źródeł (pliki, bazy danych, API, eventy) oraz ich przetwarzanie i transformacja
Orkiestracja workflow danych przy użyciu Apache Airflow / Cloud Composer
Tworzenie i utrzymanie rozwiązań CI/CD dla pipeline’ów danych oraz infrastruktury
Zarządzanie infrastrukturą w chmurze zgodnie z podejściem Infrastructure as Code (Terraform)
Zapewnienie jakości danych, monitoringu pipeline’ów oraz szybkiego reagowania na incydenty
Współpraca z zespołami analitycznymi, BI i produktowymi w celu dostarczania stabilnych i dobrze udokumentowanych danych
Udział w rozwoju architektury danych oraz wspólne definiowanie dobrych praktyk data engineeringowych
Oferujemy:
Tytuł Great Place to Work od 2015 roku - to dzięki opiniom pracowników otrzymujemy tytuł i wdrażamy nowe pomysły
Stabilność zatrudnienia – 2,1 MLD PLN przychodu, brak długów, od 2006 roku na rynku
Dzielimy się zyskiem z pracownikami - od 2022 roku przeznaczyliśmy na ten cel już ponad 76 milionów PLN
Bogaty pakiet benefitów - prywatna opieka zdrowotna, platforma kafeteryjna, zniżki na samochody i więcej
Komfortowe miejsce pracy - pracuj w naszych biurach klasy A lub zdalnie
Dziesiątki fascynujących projektów dla prestiżowych marek z całego świata – możesz je zmieniać dzięki aplikacji Job Changer
1 000 000 PLN rocznie na Twoje pomysły - taką kwotą wspieramy pasje i akcje wolontariackie naszych pracowników
Stawiamy na Twój rozwój - meetupy, webinary, platforma szkoleniowa i blog technologiczny – Ty wybierasz
Fantastyczna atmosfera stworzona przez wszystkich Sii Power People
Min. 4 lata doświadczenia w roli Data Engineer lub na podobnym stanowisku przy pracy z danymi w środowisku produkcyjnym
Bardzo dobra znajomość Google Cloud Platform, w szczególności: BigQuery (modelowanie danych, optymalizacja zapytań) oraz Cloud Storage
Umiejętność projektowania, budowy i utrzymania pipeline’ów danych (batch i/lub streaming)
Bardzo dobra znajomość SQL oraz Pythona w kontekście przetwarzania i orkiestracji danych
Doświadczenie w obszarze orkiestracji workflow (Apache Airflow / Cloud Composer)
Praktyka w implementacji CI/CD dla rozwiązań data, np. GitHub Actions, GitLab CI, Cloud Build
Znajomość podejścia Infrastructure as Code, ze wskazaniem na Terraform
Wcześniejsza praca z dużymi wolumenami danych, z uwzględnieniem wydajności i niezawodności rozwiązań
Swobodna komunikacja w języku angielskim
Wymagane przebywanie na terenie Polski oraz płynna znajomość języka polskiego
Mile widziane:
Praktyczne doświadczenie w przetwarzaniu danych streamingowych (np. Dataflow / Apache Beam, Pub/Sub)
Biegłość w Apache Spark / PySpark przy pracy z dużymi wolumenami danych
Kompetencje w zakresie transformacji i modelowania danych z wykorzystaniem narzędzi takich jak dbt
Umiejętność pracy z różnorodnymi platformami danych (np. Databricks, Snowflake, MS Fabric)
Orientacja w narzędziach oraz dobrych praktykach z obszaru Data Governance, Data Lineage i Data Quality
O projekcie:
Chcesz rozwijać się w technologiach chmurowych i pracować na realnych danych? Dołącz do naszego zespołu Data & Analytics, gdzie budujemy i rozwijamy rozwiązania oparte na GCP. Pracuj z ekspertami, rozwijaj się w kierunku Data Engineeringu, Big Data lub Machine Learningu i miej realny wpływ na projekty.
Zakres obowiązków:
Projektowanie, implementacja i utrzymanie skalowalnych pipeline’ów danych w oparciu o Google Cloud Platform
Praca z BigQuery jako główną hurtownią danych: modelowanie danych, optymalizacja zapytań i kosztów, dbanie o wydajność oraz niezawodność rozwiązań
Integracja danych z różnych źródeł (pliki, bazy danych, API, eventy) oraz ich przetwarzanie i transformacja
Orkiestracja workflow danych przy użyciu Apache Airflow / Cloud Composer
Tworzenie i utrzymanie rozwiązań CI/CD dla pipeline’ów danych oraz infrastruktury
Zarządzanie infrastrukturą w chmurze zgodnie z podejściem Infrastructure as Code (Terraform)
Zapewnienie jakości danych, monitoringu pipeline’ów oraz szybkiego reagowania na incydenty
Współpraca z zespołami analitycznymi, BI i produktowymi w celu dostarczania stabilnych i dobrze udokumentowanych danych
Udział w rozwoju architektury danych oraz wspólne definiowanie dobrych praktyk data engineeringowych
Oferujemy:
Tytuł Great Place to Work od 2015 roku - to dzięki opiniom pracowników otrzymujemy tytuł i wdrażamy nowe pomysły
Stabilność zatrudnienia – 2,1 MLD PLN przychodu, brak długów, od 2006 roku na rynku
Dzielimy się zyskiem z pracownikami - od 2022 roku przeznaczyliśmy na ten cel już ponad 76 milionów PLN
Bogaty pakiet benefitów - prywatna opieka zdrowotna, platforma kafeteryjna, zniżki na samochody i więcej
Komfortowe miejsce pracy - pracuj w naszych biurach klasy A lub zdalnie
Dziesiątki fascynujących projektów dla prestiżowych marek z całego świata – możesz je zmieniać dzięki aplikacji Job Changer
1 000 000 PLN rocznie na Twoje pomysły - taką kwotą wspieramy pasje i akcje wolontariackie naszych pracowników
Stawiamy na Twój rozwój - meetupy, webinary, platforma szkoleniowa i blog technologiczny – Ty wybierasz
Fantastyczna atmosfera stworzona przez wszystkich Sii Power People
🔍 Dekoder Ogłoszenia
🔴
Min. 4 lata doświadczenia w roli Data Engineer lub na podobnym stanowisku przy pracy z danymi w środowisku produkcyjnym
Oczekują kogoś, kto już przeszedł przez trudności związane z utrzymaniem systemów produkcyjnych, a nie tylko teoretyka.
🔴
Umiejętność projektowania, budowy i utrzymania pipeline’ów danych (batch i/lub streaming)
Nie chodzi tylko o pisanie skryptów, ale o całościowe podejście do zarządzania przepływem danych, w tym rozwiązywanie problemów.
🔴
Wcześniejsza praca z dużymi wolumenami danych, z uwzględnieniem wydajności i niezawodności rozwiązań
Spodziewaj się, że będziesz musiał optymalizować istniejące rozwiązania i radzić sobie z problemami skalowalności.
🟡
Chcesz rozwijać się w technologiach chmurowych i pracować na realnych danych?
To standardowy haczyk marketingowy, który może oznaczać zarówno ciekawe wyzwania, jak i rutynowe zadania na istniejącej infrastrukturze.
🔴
Praktyczne doświadczenie w przetwarzaniu danych streamingowych (np. Dataflow / Apache Beam, Pub/Sub)
Choć jest to w 'mile widziane', często oznacza to, że projekt mocno opiera się na streamingu i będzie to kluczowe do szybkiego opanowania.