Słownik pojęć AI

Duże modele językowe (LLM)

Duży model językowy (ang. Large Language Model, LLM) to model głębokiego uczenia wytrenowany na ogromnych ilościach tekstu, który potrafi rozumieć i generować język naturalny. Przykładami są modele z rodzin GPT (OpenAI), Claude (Anthropic), Gemini (Google), Llama (Meta), Mistral czy DeepSeek.

Jak działa LLM

U podstaw LLM leży prosta idea: przewidywanie następnego tokenu. Tekst jest dzielony na tokeny, a model - zbudowany w architekturze Transformer z mechanizmem uwagi - uczy się, jaki token najprawdopodobniej wystąpi dalej. Wytrenowany na bilionach tokenów i mając miliardy parametrów, model nabiera zdolności, które wykraczają daleko poza uzupełnianie zdań: tłumaczy, streszcza, pisze kod i rozwiązuje zadania wymagające rozumowania.

Etapy trenowania

  1. Pre-training - samonadzorowany trening na ogromnym korpusie tekstu (strony WWW, książki, kod). Najdroższy etap.
  2. Dostrajanie instrukcyjne (fine-tuning) - trening na przykładach poleceń i odpowiedzi, dzięki któremu model wykonuje instrukcje użytkownika.
  3. Uczenie z preferencji - np. RLHF (uczenie przez wzmacnianie z ludzką informacją zwrotną), które poprawia pomocność i bezpieczeństwo odpowiedzi; nowsze modele „rozumujące” trenuje się też uczeniem przez wzmacnianie na zadaniach z weryfikowalnym wynikiem.

Ważne pojęcia

  • Okno kontekstowe - ile tokenów model „widzi” naraz.
  • Halucynacje - pewnie brzmiące, ale nieprawdziwe odpowiedzi.
  • RAG - podłączenie modelu do zewnętrznej wiedzy (np. dokumentów firmy).
  • Agenci AI - LLM, które samodzielnie wykonują wieloetapowe zadania z użyciem narzędzi.
  • Modele open-weight - modele, których wagi można pobrać i uruchomić samodzielnie (np. Llama, Mistral, DeepSeek, Qwen).

LLM a rynek pracy

Wokół LLM powstały nowe role: LLM Engineer, AI Engineer budujący aplikacje na bazie modeli, Applied Scientist zajmujący się ewaluacją i dostrajaniem, a także specjaliści od inferencji i optymalizacji modeli. Oferty związane z LLM znajdziesz, wpisując „LLM” w wyszukiwarkę na stronie głównej.

Kluczowe prace naukowe

Wszystkie najważniejsze prace naukowe o AI →

Praca, w której przyda się: Duże modele językowe (LLM)

Szukasz pracy w AI? 215 ofert z firm takich jak NVIDIA, Intel czy ElevenLabs.

Zobacz oferty