
You will be responsible for designing and validating evaluation metrics for AI models, including LLM-as-a-judge frameworks. Additionally, you will analyze model performance, identify errors, and optimize evaluation methodologies for complex AI systems.
The role requires strong competencies in Data Science and practical experience in evaluating AI and LLM solutions. Candidates must possess an analytical mindset with the ability to design reliable quality measurement methods and interpret experimental results.
Dołącz do projektu realizowanego dla jednego z najbardziej rozpoznawalnych producentów zabawek na świecie. Poszukujemy Salesforce Marketing Cloud Engineera na poziomie Mid lub Senior, który wesprze rozwój skalowalnych rozwiązań marketingowych umożliwiających tworzenie spersonalizowanych doświadczeń klientów na globalnej platformie e-commerce.
Twoje zadania:
projektowaniem i walidowaniem metryk ewaluacyjnych;
tworzeniem oraz weryfikowaniem zbiorów danych typu ground truth;
analizowaniem trafności wyników, przypadków false positive i false negative oraz ogólnej jakości ewaluacji;
optymalizowaniem normalizacji metryk i sposobów obliczania punktacji;
rozwijaniem metod oceny wykorzystujących LLM jako sędziego (LLM-as-a-judge);
opracowywaniem podejść ewaluacyjnych wykorzystujących informację zwrotną od ludzi;
badaniem nowych metryk, dotyczących m.in. złożoności oraz zgodności odpowiedzi z instrukcją zawartą w prompcie.
Czego oczekujemy:
silne kompetencje w obszarze Data Science i prowadzenia eksperymentów;
praktyczne doświadczenie w ewaluacji rozwiązań AI oraz modeli LLM;
dobre zrozumienie agentowych przepływów pracy i systemów AI;
umiejętność projektowania metod pozwalających rzetelnie mierzyć jakość rozwiązań;
zdolność analizy wyników, identyfikowania błędów oraz wyciągania wniosków z przeprowadzonych eksperymentów;
analityczne, dokładne i metodyczne podejście do pracy.
Mile widziane:
podstawowa wiedza z zakresu grafiki 3D, geometrii lub renderowania.
Oferujemy:
Współpracę w formule B2B opartą na partnerskich zasadach
Możliwość realizacji ambitnych projektów dla klientów z różnych branż
Udział w projektach technologicznych z obszaru AI, data oraz transformacji cyfrowej
Współpracę z organizacją realnie zaangażowaną w zrównoważony rozwój i odpowiedzialne wykorzystanie technologii
Elastyczność w zakresie organizacji i sposobu realizacji zadań projektowych
Dostęp do środowiska ekspertów i wymianę wiedzy w ramach realizowanych przedsięwzięć
Projekty realizowane z wykorzystaniem nowoczesnego stosu technologicznego i najnowszych rozwiązań rynkowych
Poszerzanie doświadczeń poprzez udział w innowacyjnych przedsięwzięciach i wdrożeniach
Knowit to nordycka firma konsultingowa, która pomaga firmom, instytucjom publicznym i organizacjom odnosić sukcesy w transformacji cyfrowej. Dzięki ekspertyzie w obszarze tworzenia oprogramowania, AI, cyberbezpieczeństwa, usług chmurowych, cyfrowych doświadczeń klienta oraz doradztwa zarządczego, tworzymy rozwiązania, które przyczyniają się do bardziej zrównoważonego i skoncentrowanego na człowieku społeczeństwa.
Zatrudniamy około 3700 osób, pracujących w ramach naszych obszarów biznesowych: Solutions, Experience, Connectivity, Insight i Products, głównie w krajach nordyckich, a także w Polsce, Serbii i Niemczech.
Pracuj z nami w Knowit Connectivity, gdzie rozwijamy zaawansowane technicznie systemy w obszarze rozwiązań embedded i connected. U nas będziesz pracować nad złożonymi produktami razem z doświadczonymi inżynierami, przy projektach na pierwszej linii nowych technologii.
We don’t wait for the future. We build it.
Knowit AB is a consultancy firm offering innovative digital solutions across connectivity, experience, insight, and technology while fostering sustainable and humane societal development.