AI Quality Engineer
Aviva Services Excellence Centre
⚲ Warszawa
Do uzgodnienia
Wymagania
- doświadczenie w quality engineering, testowaniu, automatyzacji testów, data science lub pokrewnej dziedzinie (różne poziomy seniority)
- doświadczenie lub silne zainteresowanie rozwijaniem, testowaniem, ewaluacją lub wsparciem rozwiązań AI
- dobra znajomość Pythona i pisanie czystego, utrzymywalnego kodu do analizy, automatyzacji lub testów
- umiejętność przekładania celów biznesowych i ryzyk na praktyczne podejścia ewaluacyjne
- silne umiejętności komunikacji i wyjaśniania wniosków odbiorcom technicznym i nietechnicznym
Mile widziane
- mile widziane: doświadczenie w ewaluacji, testowaniu lub monitorowaniu systemów AI na produkcji
- mile widziane: znajomość zachowania LLM (tokenizacja, limity kontekstu, parametry, niedeterminizm) oraz RAG, groundingu, halucynacji, guardrails i prompt injection
- mile widziane: praktyki inżynierskie — Git, modularny kod, zarządzanie konfiguracją, testy automatyczne
Opis stanowiska
Stanowisko w obszarze jakości systemów AI — projektujesz sposoby oceny konwersacyjnych, wieloturowych i niedeterministycznych systemów opartych na LLM: definiujesz kryteria sukcesu i porażki, budujesz reprezentatywne zbiory ewaluacyjne, dobierasz metody oceny (manualne, deterministyczne, modelowe, statystyczne) i rozróżniasz błędy modelu od błędów retrievalu, promptów, guardrails czy danych źródłowych. Weryfikujesz też automatyczne evaluatory (w tym LLM-as-a-Judge) względem oceny ludzkiej i komunikujesz wyniki oraz ryzyko interesariuszom technicznym i nietechnicznym. Dobra oferta dla osoby z doświadczeniem w QA/testach lub data science, która realnie interesuje się zachowaniem i niezawodnością systemów AI, a nie tylko klasyczną automatyzacją.
🔍 Dekoder Ogłoszenia
🟡
we can consider different seniority levels
Może oznaczać elastyczność rekrutacji, ale też brak sprecyzowanego zakresu obowiązków i widełek — warto dopytać o realny poziom i stawkę.
🟡
Experience or strong interest in working with AI-powered solutions
Dopuszczalny brak doświadczenia z AI — sugeruje, że faktycznie szukają osoby uczącej się, a nie eksperta; może wiązać się z niższą stawką.
🟡
Strong analytical and problem-solving skills
Ogólnik z rekrutacyjnego szablonu — trudny do zweryfikowania, często pojawia się niezależnie od realnych wymagań.