NoFluffJobs
Stacjonarnie
Expert
AI Infrastructure Expert — KV Cache System
⚲ Warsaw
Do uzgodnienia
Wymagania
- praca stacjonarna w pełnym wymiarze w biurze w Warszawie (Wola)
- solidne zrozumienie podstaw inferencji LLM i wewnętrznej budowy KV Cache
- biegłość w profilowaniu i tuningu wydajności, diagnozowanie wąskich gardeł pamięci, przepustowości i komunikacji
- udokumentowane doświadczenie w optymalizacji wydajności na systemach dużej skali
- stopień magistra lub doktora z informatyki, architektury komputerów, HPC lub pokrewnej dziedziny (wyjątkowo licencjat z mocnym tłem)
Mile widziane
- doświadczenie w budowie systemów KV cache, podsystemów cache/storage lub stosów sieciowych wysokiej wydajności
- znajomość frameworków inferencyjnych (vLLM, SGLang, TensorRT-LLM) z czytaniem kodu modułów KV Cache
- doświadczenie z pamięcią heterogeniczną, RDMA, cache rozproszonym lub kolektywami NCCL
Opis stanowiska
W Huawei obejmujesz projekt i implementację wysokowydajnych systemów KV Cache dla inferencji dużych modeli, mierząc się z dwoma najtrudniejszymi wąskimi gardłami: pamięcią i komunikacją, pod ultra-długi kontekst i wysoką współbieżność. W praktyce: polityki eviction, kompresja KV, zarządzanie pamięcią stronicową, hierarchiczne cache'owanie po heterogenicznej pamięci, sharding i migracja KV w inferencji rozproszonej oraz profilowanie wydajności. To rola dla osoby o mocnym profilu systemowym/HPC z doświadczeniem w optymalizacji wydajności na dużą skalę. Praca stacjonarna w biurze w Warszawie (Wola).
🔍 Dekoder Ogłoszenia
✓ Ogłoszenie wygląda transparentnie — brak typowych czerwonych flag.