Słownik pojęć AI

Ewaluacja LLM

Ewaluacja LLM (ang. LLM evaluation, w skrócie evals) to systematyczne sprawdzanie, jak dobrze duży model językowy albo aplikacja na nim oparta wykonuje swoje zadanie. Bez ewaluacji nie wiadomo, czy nowa wersja promptu, inny model albo zmiana w systemie RAG poprawiły wyniki, czy je pogorszyły.

Benchmarki a ewaluacja własnej aplikacji

  • Publiczne benchmarki, np. MMLU, GPQA czy SWE-bench, porównują ogólne możliwości modeli. Pomagają wybrać kandydatów, ale mówią niewiele o Twoim zadaniu. Część wyników bywa też zawyżona, bo pytania z benchmarków trafiają do danych treningowych.
  • Ewaluacja aplikacji sprawdza model na Twoich danych i kryteriach: czy poprawnie odpowiada klientom, wyciąga dane z faktur albo trzyma się regulaminu. To ona decyduje o wdrożeniu.

Jak oceniać odpowiedzi

  • Sprawdzenie automatyczne – porównanie z wzorcową odpowiedzią, walidacja formatu JSON, uruchomienie testów dla wygenerowanego kodu. Tanie i powtarzalne, ale działa tylko tam, gdzie da się jednoznacznie określić poprawny wynik.
  • LLM-as-a-judge – inny model ocenia odpowiedź według opisanych kryteriów, np. „czy odpowiedź opiera się wyłącznie na dostarczonych dokumentach”. Skaluje się dobrze, ale sędzia też się myli i bywa stronniczy, np. faworyzuje dłuższe odpowiedzi. Jego oceny trzeba co jakiś czas porównać z ocenami ludzi.
  • Ocena ludzka – najdokładniejsza i najdroższa. Często wykonują ją eksperci dziedzinowi albo trenerzy AI.

Co mierzyć

  • poprawność i kompletność odpowiedzi,
  • halucynacje, czyli zmyślone fakty, i zgodność ze źródłami w systemach RAG,
  • bezpieczeństwo, np. odporność na jailbreaki,
  • format, ton i długość odpowiedzi,
  • koszt i czas odpowiedzi – lepszy model nie zawsze jest wart wyższej ceny.

Jak zacząć

  1. Zbierz kilkadziesiąt do kilkuset prawdziwych przykładów, w tym trudne i nietypowe przypadki.
  2. Dla każdego zapisz, co uznajesz za dobrą odpowiedź.
  3. Uruchamiaj ten sam zestaw przy każdej zmianie promptu, modelu lub danych i porównuj wyniki.
  4. Dopisuj do zestawu błędy znalezione w produkcji, żeby się nie powtórzyły.

Pomagają w tym narzędzia takie jak promptfoo, OpenAI Evals, DeepEval, Ragas (dla RAG) czy platformy do śledzenia aplikacji LLM, np. Langfuse i LangSmith.

Ewaluacja w pracy

Umiejętność budowania ewaluacji coraz częściej pojawia się w ogłoszeniach dla AI Engineerów i LLM Engineerów, a ocena odpowiedzi modeli to podstawa pracy trenera AI. Zobacz oferty LLM Engineer, AI Engineer i trener AI, a także artykuł o prompt engineeringu.

Najczęstsze pytania

Czym jest ewaluacja LLM w jednym zdaniu?

To mierzenie jakości odpowiedzi modelu na zestawie testowym, żeby wiedzieć, czy zmiana w systemie go poprawiła.

Ile przykładów potrzeba na start?

Nawet kilkadziesiąt dobrze dobranych przypadków wystarczy, żeby wyłapać wyraźne pogorszenie. Do porównywania drobnych różnic potrzeba ich więcej.

Praca, w której przyda się: Ewaluacja LLM

Szukasz pracy w AI? 249 ofert z firm takich jak NVIDIA, Intel czy ElevenLabs.

Zobacz oferty