Cloudera Solution Architect (AWS) [M/F]
⚲ Remote
33 600 - 39 480 PLN (B2B)
Wymagania
- AWS
- Cloudera
Opis stanowiska
O projekcie:
Projekt realizowany jest dla międzynarodowej instytucji finansowej i koncentruje się na rozwoju nowoczesnej platformy danych opartej o Cloudera CDP w środowisku AWS. Celem projektu jest projektowanie oraz rozwój skalowalnych rozwiązań Data Lake i Operational Data Store, wspierających przetwarzanie dużych wolumenów danych oraz procesy analityczne i biznesowe. Zespół pracuje w środowisku Agile, wykorzystując nowoczesne technologie Big Data oraz rozwiązania chmurowe do budowy bezpiecznej i wydajnej architektury danych.
Wymagania:
- min. 7 lat doświadczenia w projektach związanych z architekturą danych oraz rozwiązaniami chmurowymi,- bardzo dobra znajomość platform Cloudera CDH/CDP (On-Premise oraz Cloud),- doświadczenie w projektowaniu rozwiązań opartych o AWS,- praktyczna znajomość technologii Big Data, w szczególności: Apache Spark, Kafka, Cassandra, HBase,- doświadczenie w budowie procesów ETL oraz Data Pipeline z wykorzystaniem narzędzi takich jak Apache Airflow, Apache NiFi,- zaawansowana znajomość j. angielskiego,- dobra znajomość zasad architektury danych oraz nowoczesnych praktyk inżynierskich.
Codzienne zadania:
- projektowanie kompleksowych rozwiązań Data Lake oraz Operational Data Store (ODS) opartych o Cloudera na AWS,
- tworzenie architektury rozwiązań dla dużych, rozproszonych środowisk danych,
- odpowiedzialność za projektowanie rozwiązań end-to-end zgodnie z wymaganiami biznesowymi oraz standardami architektonicznymi,
- współpraca z interesariuszami biznesowymi oraz zespołami technicznymi przy doprecyzowywaniu wymagań,
- weryfikacja projektów przygotowywanych przez innych architektów i zespoły techniczne,
- definiowanie najlepszych praktyk w zakresie architektury danych oraz wspieranie ich wdrażania,
- wsparcie procesu estymacji oraz identyfikacja ryzyk technicznych,
- nadzór nad zgodnością rozwiązań z architekturą korporacyjną,
- współpraca z zespołami odpowiedzialnymi za development, integrację, testy i wdrożenia.
Projekt realizowany jest dla międzynarodowej instytucji finansowej i koncentruje się na rozwoju nowoczesnej platformy danych opartej o Cloudera CDP w środowisku AWS. Celem projektu jest projektowanie oraz rozwój skalowalnych rozwiązań Data Lake i Operational Data Store, wspierających przetwarzanie dużych wolumenów danych oraz procesy analityczne i biznesowe. Zespół pracuje w środowisku Agile, wykorzystując nowoczesne technologie Big Data oraz rozwiązania chmurowe do budowy bezpiecznej i wydajnej architektury danych.
Wymagania:
- min. 7 lat doświadczenia w projektach związanych z architekturą danych oraz rozwiązaniami chmurowymi,- bardzo dobra znajomość platform Cloudera CDH/CDP (On-Premise oraz Cloud),- doświadczenie w projektowaniu rozwiązań opartych o AWS,- praktyczna znajomość technologii Big Data, w szczególności: Apache Spark, Kafka, Cassandra, HBase,- doświadczenie w budowie procesów ETL oraz Data Pipeline z wykorzystaniem narzędzi takich jak Apache Airflow, Apache NiFi,- zaawansowana znajomość j. angielskiego,- dobra znajomość zasad architektury danych oraz nowoczesnych praktyk inżynierskich.
Codzienne zadania:
- projektowanie kompleksowych rozwiązań Data Lake oraz Operational Data Store (ODS) opartych o Cloudera na AWS,
- tworzenie architektury rozwiązań dla dużych, rozproszonych środowisk danych,
- odpowiedzialność za projektowanie rozwiązań end-to-end zgodnie z wymaganiami biznesowymi oraz standardami architektonicznymi,
- współpraca z interesariuszami biznesowymi oraz zespołami technicznymi przy doprecyzowywaniu wymagań,
- weryfikacja projektów przygotowywanych przez innych architektów i zespoły techniczne,
- definiowanie najlepszych praktyk w zakresie architektury danych oraz wspieranie ich wdrażania,
- wsparcie procesu estymacji oraz identyfikacja ryzyk technicznych,
- nadzór nad zgodnością rozwiązań z architekturą korporacyjną,
- współpraca z zespołami odpowiedzialnymi za development, integrację, testy i wdrożenia.
🔍 Dekoder Ogłoszenia
🔴
rozwój nowoczesnej platformy danych
Projekt może być na wczesnym etapie rozwoju, co oznacza potencjalne zmiany wymagań i niepewność co do ostatecznego kształtu rozwiązania.
🔴
wspierających przetwarzanie dużych wolumenów danych
Może oznaczać, że systemy są już obciążone lub mają problemy z wydajnością, które wymagają rozwiązania.
🔴
wykorzystując nowoczesne technologie Big Data
Może oznaczać, że zespół dopiero uczy się tych technologii lub że są one używane w sposób eksperymentalny.
🔴
projektowanie kompleksowych rozwiązań Data Lake oraz Operational Data Store (ODS) opartych o Cloudera na AWS
Oznacza to, że będziesz musiał zaprojektować całą architekturę od podstaw, co może być bardzo wymagające i czasochłonne.
🔴
odpowiedzialność za projektowanie rozwiązań end-to-end
Oznacza to, że będziesz musiał wziąć pełną odpowiedzialność za cały cykl życia projektu, od koncepcji po wdrożenie.