Data Engineer
⚲ Warszawa
20 160 - 25 200 PLN netto (B2B)
Wymagania
- Python
- Docker
- ETL
- DevOps
Opis stanowiska
Team Connect to wiodący w Polsce dostawca usług IT w modelu nearshore i offshore. Od 2008 roku z sukcesem tworzymy oraz rozwijamy oprogramowanie dla naszych klientów.
Specjalizujemy się w wytwarzaniu oprogramowania w oparciu o metodyki Agile i DevOps - od etapu analizy, przez implementację, aż po dalszy rozwój produktu. Tworzymy aplikacje backendowe, frontendowe oraz mobilne.
Dla jednego z naszych klientów z branży technologicznej poszukujemy osoby na stanowisko Data Engineer.
Lokalizacja: praca hybrydowa z Warszawy (2 razy na tydzień praca z biura)
Zakres obowiązków:
• Tworzenie gotowego do wdrożenia kodu (production-ready).
• Efektywne wykorzystywanie zasobów GPU i CPU oraz rozumienie wymagań wydajnościowych dla obciążeń związanych z ML.
• Projektowanie, automatyzacja i orkiestracja procesów DevOps/MLOps w środowisku chmurowym.
• Tworzenie wielokrotnego użytku narzędzi i frameworków do monitorowania, optymalizacji oraz utrzymania rozwiązań opartych na ML.
• Projektowanie i implementacja procesów inżynierii danych (ETL).
• Analiza problemów biznesowych oraz współpraca z zespołem w celu zapewnienia skalowalności, ciągłości działania i odpowiedniego czasu realizacji.
• Prowadzenie wewnętrznych warsztatów i zewnętrznych spotkań branżowych, udział w konferencjach oraz wystąpieniach publicznych.
• Stałe rozwijanie kompetencji poprzez śledzenie najnowszych trendów w obszarze AI/ML i technologii pokrewnych oraz podnoszenie kwalifikacji w tych dziedzinach.
Wymagania:
• Wykształcenie wyższe (licencjackie lub magisterskie) z zakresu informatyki, badań operacyjnych, matematyki, informatyki stosowanej lub pokrewnej dziedziny oraz min.3–4 lata odpowiedniego doświadczenia zawodowego.
• Doświadczenie w pracy z dużymi zbiorami danych pochodzącymi z różnych źródeł.
• Bardzo dobra znajomość programowania (preferowany Python).
• Doświadczenie z konteneryzacją (Docker) oraz orkiestracją kontenerów przy użyciu Kubernetes.
• Doświadczenie w tworzeniu aplikacji chmurowych (preferowane platformy Google Cloud Platform oraz Microsoft Azure).
• Umiejętność skutecznego rozwiązywania problemów, debugowania, diagnozowania błędów oraz projektowania i wdrażania rozwiązań dla złożonych problemów technicznych.
• Doświadczenie w projektowaniu, budowie i utrzymaniu procesów ETL oraz pipeline'ów danych z wykorzystaniem narzędzi do orkiestracji, takich jak Apache Airflow, Kubeflow lub podobnych.
• Znajomość praktyk DevOps, w tym CI/CD oraz przepływów pracy opartych na Git.
• Swoboda pracy w środowisku Unix/Linux.
• Praktyczne doświadczenie w projektowaniu, tworzeniu i utrzymaniu interfejsów REST API.
• Znajomość koncepcji uczenia maszynowego (Machine Learning) i głębokiego uczenia (Deep Learning) oraz doświadczenie we wdrażaniu i monitorowaniu modeli.
Mile widziane
• Znajomość platform takich jak Keras, TensorFlow i/lub PyTorch.
• Dogłębna znajomość najważniejszych algorytmów uczenia maszynowego.
• Znajomość terminologii oraz procesów biznesowych w branży naftowo-gazowej (Oil & Gas).
• Doświadczenie z technologiami IoT oraz Edge Computing.
• Uznane wkłady w projekty open source.
• Znajomość narzędzi do inżynierii danych, takich jak Flink, Spark, Kafka i podobnych.
• Doświadczenie z technologiami Big Data (Spark, Hadoop, Storm, Hive, Pig) oraz bazami danych NoSQL będzie dodatkowym atutem.
Specjalizujemy się w wytwarzaniu oprogramowania w oparciu o metodyki Agile i DevOps - od etapu analizy, przez implementację, aż po dalszy rozwój produktu. Tworzymy aplikacje backendowe, frontendowe oraz mobilne.
Dla jednego z naszych klientów z branży technologicznej poszukujemy osoby na stanowisko Data Engineer.
Lokalizacja: praca hybrydowa z Warszawy (2 razy na tydzień praca z biura)
Zakres obowiązków:
• Tworzenie gotowego do wdrożenia kodu (production-ready).
• Efektywne wykorzystywanie zasobów GPU i CPU oraz rozumienie wymagań wydajnościowych dla obciążeń związanych z ML.
• Projektowanie, automatyzacja i orkiestracja procesów DevOps/MLOps w środowisku chmurowym.
• Tworzenie wielokrotnego użytku narzędzi i frameworków do monitorowania, optymalizacji oraz utrzymania rozwiązań opartych na ML.
• Projektowanie i implementacja procesów inżynierii danych (ETL).
• Analiza problemów biznesowych oraz współpraca z zespołem w celu zapewnienia skalowalności, ciągłości działania i odpowiedniego czasu realizacji.
• Prowadzenie wewnętrznych warsztatów i zewnętrznych spotkań branżowych, udział w konferencjach oraz wystąpieniach publicznych.
• Stałe rozwijanie kompetencji poprzez śledzenie najnowszych trendów w obszarze AI/ML i technologii pokrewnych oraz podnoszenie kwalifikacji w tych dziedzinach.
Wymagania:
• Wykształcenie wyższe (licencjackie lub magisterskie) z zakresu informatyki, badań operacyjnych, matematyki, informatyki stosowanej lub pokrewnej dziedziny oraz min.3–4 lata odpowiedniego doświadczenia zawodowego.
• Doświadczenie w pracy z dużymi zbiorami danych pochodzącymi z różnych źródeł.
• Bardzo dobra znajomość programowania (preferowany Python).
• Doświadczenie z konteneryzacją (Docker) oraz orkiestracją kontenerów przy użyciu Kubernetes.
• Doświadczenie w tworzeniu aplikacji chmurowych (preferowane platformy Google Cloud Platform oraz Microsoft Azure).
• Umiejętność skutecznego rozwiązywania problemów, debugowania, diagnozowania błędów oraz projektowania i wdrażania rozwiązań dla złożonych problemów technicznych.
• Doświadczenie w projektowaniu, budowie i utrzymaniu procesów ETL oraz pipeline'ów danych z wykorzystaniem narzędzi do orkiestracji, takich jak Apache Airflow, Kubeflow lub podobnych.
• Znajomość praktyk DevOps, w tym CI/CD oraz przepływów pracy opartych na Git.
• Swoboda pracy w środowisku Unix/Linux.
• Praktyczne doświadczenie w projektowaniu, tworzeniu i utrzymaniu interfejsów REST API.
• Znajomość koncepcji uczenia maszynowego (Machine Learning) i głębokiego uczenia (Deep Learning) oraz doświadczenie we wdrażaniu i monitorowaniu modeli.
Mile widziane
• Znajomość platform takich jak Keras, TensorFlow i/lub PyTorch.
• Dogłębna znajomość najważniejszych algorytmów uczenia maszynowego.
• Znajomość terminologii oraz procesów biznesowych w branży naftowo-gazowej (Oil & Gas).
• Doświadczenie z technologiami IoT oraz Edge Computing.
• Uznane wkłady w projekty open source.
• Znajomość narzędzi do inżynierii danych, takich jak Flink, Spark, Kafka i podobnych.
• Doświadczenie z technologiami Big Data (Spark, Hadoop, Storm, Hive, Pig) oraz bazami danych NoSQL będzie dodatkowym atutem.
🔍 Dekoder Ogłoszenia
🔴
Tworzenie gotowego do wdrożenia kodu (production-ready).
Oczekuje się, że kod będzie od razu gotowy do produkcji, co może oznaczać brak czasu na refaktoryzację czy testy.
🔴
Efektywne wykorzystywanie zasobów GPU i CPU oraz rozumienie wymagań wydajnościowych dla obciążeń związanych z ML.
Może oznaczać, że będziesz musiał optymalizować kod pod kątem bardzo ograniczonych zasobów lub pracować nad problemami z wydajnością, które już istnieją.
🔴
Projektowanie, automatyzacja i orkiestracja procesów DevOps/MLOps w środowisku chmurowym.
Choć brzmi ambitnie, może oznaczać konieczność budowania tych procesów od zera w projekcie, który jeszcze ich nie posiada.
🔴
Analiza problemów biznesowych oraz współpraca z zespołem w celu zapewnienia skalowalności, ciągłości działania i odpowiedniego czasu realizacji.
Może oznaczać, że będziesz musiał szybko reagować na nieprzewidziane problemy i często negocjować terminy z klientem.
🔴
Prowadzenie wewnętrznych warsztatów i zewnętrznych spotkań branżowych, udział w konferencjach oraz wystąpieniach publicznych.
Poza podstawowymi obowiązkami, oczekuje się od Ciebie aktywnego reprezentowania firmy i dzielenia się wiedzą, co może pochłaniać dodatkowy czas.