← Back to Jobs
Knowit Poland logo
2 days agoteamtailor

Data Scientist

Knowit Poland / IT Services and IT Consulting
Bydgoszcz, Kuyavian-Pomeranian Voivodeship, Poland | Remote2 MoreRemote SolelyFull Time
Apply on company site
AI Summary

You will be responsible for designing and validating evaluation metrics for AI models, including LLM-as-a-judge frameworks. Additionally, you will analyze model performance, identify errors, and optimize evaluation methodologies for complex AI systems.

The role requires strong competencies in Data Science and practical experience in evaluating AI and LLM solutions. Candidates must possess an analytical mindset with the ability to design reliable quality measurement methods and interpret experimental results.

Job Details
Job Type: FULL TIME
Visa Sponsorship: No
Work Arrangement: Remote Solely
Experience Level: 2 - 5 years
Hours: 40 hrs/week
Language: Polish
Benefits
B2B contractFlexible working arrangementsAccess to expert environmentKnowledge exchangeModern technology stackProfessional development
Key Skills
Data ScienceAI evaluationLLMAgentic workflowsExperimentationData analysisPrompt engineeringEvaluation metricsGround truth validationMachine learning
Insider connections @Knowit Poland
Members only

Find people at Knowit Poland who may share hiring insights or referrals for this role.

Meet the people behind the opportunity

Create a free account to search for hiring managers and potential referral contacts.

No contact data is shown on this public page.

Dołącz do projektu realizowanego dla jednego z najbardziej rozpoznawalnych producentów zabawek na świecie. Poszukujemy Salesforce Marketing Cloud Engineera na poziomie Mid lub Senior, który wesprze rozwój skalowalnych rozwiązań marketingowych umożliwiających tworzenie spersonalizowanych doświadczeń klientów na globalnej platformie e-commerce.

Twoje zadania:

  • projektowaniem i walidowaniem metryk ewaluacyjnych;

  • tworzeniem oraz weryfikowaniem zbiorów danych typu ground truth;

  • analizowaniem trafności wyników, przypadków false positive i false negative oraz ogólnej jakości ewaluacji;

  • optymalizowaniem normalizacji metryk i sposobów obliczania punktacji;

  • rozwijaniem metod oceny wykorzystujących LLM jako sędziego (LLM-as-a-judge);

  • opracowywaniem podejść ewaluacyjnych wykorzystujących informację zwrotną od ludzi;

  • badaniem nowych metryk, dotyczących m.in. złożoności oraz zgodności odpowiedzi z instrukcją zawartą w prompcie.

Czego oczekujemy:

  • silne kompetencje w obszarze Data Science i prowadzenia eksperymentów;

  • praktyczne doświadczenie w ewaluacji rozwiązań AI oraz modeli LLM;

  • dobre zrozumienie agentowych przepływów pracy i systemów AI;

  • umiejętność projektowania metod pozwalających rzetelnie mierzyć jakość rozwiązań;

  • zdolność analizy wyników, identyfikowania błędów oraz wyciągania wniosków z przeprowadzonych eksperymentów;

  • analityczne, dokładne i metodyczne podejście do pracy.

Mile widziane:

  • podstawowa wiedza z zakresu grafiki 3D, geometrii lub renderowania.

Oferujemy:

  • Współpracę w formule B2B opartą na partnerskich zasadach

  • Możliwość realizacji ambitnych projektów dla klientów z różnych branż

  • Udział w projektach technologicznych z obszaru AI, data oraz transformacji cyfrowej

  • Współpracę z organizacją realnie zaangażowaną w zrównoważony rozwój i odpowiedzialne wykorzystanie technologii

  • Elastyczność w zakresie organizacji i sposobu realizacji zadań projektowych

  • Dostęp do środowiska ekspertów i wymianę wiedzy w ramach realizowanych przedsięwzięć

  • Projekty realizowane z wykorzystaniem nowoczesnego stosu technologicznego i najnowszych rozwiązań rynkowych

  • Poszerzanie doświadczeń poprzez udział w innowacyjnych przedsięwzięciach i wdrożeniach

Knowit to nordycka firma konsultingowa, która pomaga firmom, instytucjom publicznym i organizacjom odnosić sukcesy w transformacji cyfrowej. Dzięki ekspertyzie w obszarze tworzenia oprogramowania, AI, cyberbezpieczeństwa, usług chmurowych, cyfrowych doświadczeń klienta oraz doradztwa zarządczego, tworzymy rozwiązania, które przyczyniają się do bardziej zrównoważonego i skoncentrowanego na człowieku społeczeństwa.

Zatrudniamy około 3700 osób, pracujących w ramach naszych obszarów biznesowych: Solutions, Experience, Connectivity, Insight i Products, głównie w krajach nordyckich, a także w Polsce, Serbii i Niemczech.

Pracuj z nami w Knowit Connectivity, gdzie rozwijamy zaawansowane technicznie systemy w obszarze rozwiązań embedded i connected. U nas będziesz pracować nad złożonymi produktami razem z doświadczonymi inżynierami, przy projektach na pierwszej linii nowych technologii.

We don’t wait for the future. We build it.

About Knowit

Knowit AB is a consultancy firm offering innovative digital solutions across connectivity, experience, insight, and technology while fostering sustainable and humane societal development.

IT Services and IT Consulting
3,867 employees
Stockholm, Stockholm County
Most staff in SWE
Employee ratings
From Glassdoor · 16 reviews · View profile
Work–life balance4.0
Diversity & inclusion4.0
Culture & values3.9
Career opportunities3.9
Compensation & benefits3.6
Senior management3.6
81%
would recommend to a friend
65%
positive business outlook
Categories
Information TechnologyFinanceDigital MarketingBusiness DevelopmentConsultingInformation Services
Specialties
Application ManagementBusiness IntelligenceSystem DevelopmentTest & Quality ManagementMicrosoftEpiServerDigital MarketingWeb AnalyticsDigital Business TransformationOrganizational DevelopmentStrategyMobile DevelopmentManagement ConsultingBusiness ConsultingBrand strategyand Marketing