Słownik pojęć AI
Ewaluacja LLM
Ewaluacja LLM (ang. LLM evaluation, w skrócie evals) to systematyczne sprawdzanie, jak dobrze duży model językowy albo aplikacja na nim oparta wykonuje swoje zadanie. Bez ewaluacji nie wiadomo, czy nowa wersja promptu, inny model albo zmiana w systemie RAG poprawiły wyniki, czy je pogorszyły.
Benchmarki a ewaluacja własnej aplikacji
- Publiczne benchmarki, np. MMLU, GPQA czy SWE-bench, porównują ogólne możliwości modeli. Pomagają wybrać kandydatów, ale mówią niewiele o Twoim zadaniu. Część wyników bywa też zawyżona, bo pytania z benchmarków trafiają do danych treningowych.
- Ewaluacja aplikacji sprawdza model na Twoich danych i kryteriach: czy poprawnie odpowiada klientom, wyciąga dane z faktur albo trzyma się regulaminu. To ona decyduje o wdrożeniu.
Jak oceniać odpowiedzi
- Sprawdzenie automatyczne – porównanie z wzorcową odpowiedzią, walidacja formatu JSON, uruchomienie testów dla wygenerowanego kodu. Tanie i powtarzalne, ale działa tylko tam, gdzie da się jednoznacznie określić poprawny wynik.
- LLM-as-a-judge – inny model ocenia odpowiedź według opisanych kryteriów, np. „czy odpowiedź opiera się wyłącznie na dostarczonych dokumentach”. Skaluje się dobrze, ale sędzia też się myli i bywa stronniczy, np. faworyzuje dłuższe odpowiedzi. Jego oceny trzeba co jakiś czas porównać z ocenami ludzi.
- Ocena ludzka – najdokładniejsza i najdroższa. Często wykonują ją eksperci dziedzinowi albo trenerzy AI.
Co mierzyć
- poprawność i kompletność odpowiedzi,
- halucynacje, czyli zmyślone fakty, i zgodność ze źródłami w systemach RAG,
- bezpieczeństwo, np. odporność na jailbreaki,
- format, ton i długość odpowiedzi,
- koszt i czas odpowiedzi – lepszy model nie zawsze jest wart wyższej ceny.
Jak zacząć
- Zbierz kilkadziesiąt do kilkuset prawdziwych przykładów, w tym trudne i nietypowe przypadki.
- Dla każdego zapisz, co uznajesz za dobrą odpowiedź.
- Uruchamiaj ten sam zestaw przy każdej zmianie promptu, modelu lub danych i porównuj wyniki.
- Dopisuj do zestawu błędy znalezione w produkcji, żeby się nie powtórzyły.
Pomagają w tym narzędzia takie jak promptfoo, OpenAI Evals, DeepEval, Ragas (dla RAG) czy platformy do śledzenia aplikacji LLM, np. Langfuse i LangSmith.
Ewaluacja w pracy
Umiejętność budowania ewaluacji coraz częściej pojawia się w ogłoszeniach dla AI Engineerów i LLM Engineerów, a ocena odpowiedzi modeli to podstawa pracy trenera AI. Zobacz oferty LLM Engineer, AI Engineer i trener AI, a także artykuł o prompt engineeringu.
Najczęstsze pytania
Czym jest ewaluacja LLM w jednym zdaniu?
To mierzenie jakości odpowiedzi modelu na zestawie testowym, żeby wiedzieć, czy zmiana w systemie go poprawiła.
Ile przykładów potrzeba na start?
Nawet kilkadziesiąt dobrze dobranych przypadków wystarczy, żeby wyłapać wyraźne pogorszenie. Do porównywania drobnych różnic potrzeba ich więcej.
Praca, w której przyda się: Ewaluacja LLM
LLM Engineer (100% Remote within Poland)
20.11.2026
SAP Architect (Technical, GenAI, SAP Innovation)
20.11.2026
Backend Engineer (Python, GenAI)
20.11.2026
Solution Architect (Agentic AI, GenAI, Custom Development)
20.11.2026
Szukasz pracy w AI? 249 ofert z firm takich jak NVIDIA, Intel czy ElevenLabs.
Zobacz oferty