Senior Software Engineer, Compute
⚲ Warsaw, Berlin
Do uzgodnienia
Wymagania
- doświadczenie w projektowaniu i operowaniu infrastrukturą danych na Databricks, Airflow i Spark
- doświadczenie w utrzymaniu i monitorowaniu dużej liczby produkcyjnych zadań (setki dziennych jobów)
- umiejętność optymalizacji wydajności vs kosztów na współdzielonych hurtowniach danych
- doświadczenie w skalowaniu raportowania (np. Looker) dla dużej liczby użytkowników
- praktyczna znajomość Pythona i Terraform
- doświadczenie w budowie narzędzi samoobsługowych dla wewnętrznych zespołów
- umiejętność współpracy z zespołami Analytics Engineering, Data Science, ML, Experimentation, Ingestion, Governance i SRE
Mile widziane
- doświadczenie w pracy z agentami AI / serwerami MCP na pipeline'ach danych
Opis stanowiska
Zespół Data Platform Compute w Bolt buduje i utrzymuje warstwę obliczeniową, z której korzysta cała organizacja danych — pipeline'y, notebooki, trenowanie modeli i eksperymenty działają na infrastrukturze, którą będziesz współtworzyć. Realnie zajmiesz się projektowaniem i operowaniem samoobsługowych rozwiązań na Databricks, Airflow i Spark, utrzymaniem ponad 800 dziennych zadań, skalowaniem raportowania Looker oraz budową warstwy AI (serwery MCP, agenci na pipeline'ach). To oferta dla doświadczonego inżyniera, który lubi pracę platformową blisko wewnętrznych klientów i nie boi się odpowiedzialności za niezawodność oraz koszty dużych wolumenów danych. Szczera uwaga: sukces zespołu mierzony jest produktywnością innych zespołów, a najlepszy scenariusz to sytuacja, w której nikt nie musi się do was odzywać — w praktyce oznacza to presję na szybkie dostarczanie rozwiązań przy ograniczonym wsparciu oraz spory udział pracy operacyjnej i reagowania na awarie.
🔍 Dekoder Ogłoszenia
🔴
our measure of success is developer productivity and time-to-insight across the data organisation, and the best outcome is teams shipping at speed without ever needing to talk to us.
Oczekuje się, że zespół będzie działał autonomicznie, a sukces będzie mierzony efektywnością innych zespołów, co może oznaczać presję na szybkie dostarczanie rozwiązań bez wystarczającego wsparcia.
🔴
Design, build, and operate self-serve solutions based on Databricks, Airflow, and Spark infrastructure that runs Bolt's data workloads so that data practitioners can provision, deploy, and debug.
Oprócz budowania, będziesz odpowiedzialny za bieżącą obsługę i utrzymanie infrastruktury, co może oznaczać dużą ilość pracy operacyjnej.
🔴
Keep 800+ daily Databricks jobs reliable, observable, and cost-efficient with an observability layer that detects pipeline failures and surfaces areas for improvement.
Zarządzanie dużą liczbą krytycznych zadań wymaga ciągłego monitorowania i reagowania na problemy, co może prowadzić do pracy pod presją.
🔴
Scale Looker reporting and ad-hoc querying on shared warehouses; own routing, cluster sizing, and the performance-versus-cost trade-offs for the 4,000+ Bolt employees, serving 300,000+ queries daily over petabytes of data.
Odpowiedzialność za wydajność i koszty dla dużej liczby użytkowników i ogromnych ilości danych oznacza konieczność podejmowania trudnych decyzji optymalizacyjnych.
🟡
Work directly with Analytics Engineering, Data Science, ML, Experimentation, Ingestion, Governance, and SRE Data teams - as a partner.
Pozycja 'partnera' może oznaczać, że będziesz musiał negocjować i przekonywać inne zespoły do swoich rozwiązań, a nie tylko je wdrażać.