Słownik pojęć AI
Destylacja modeli
Destylacja modeli (ang. knowledge distillation) to technika, w której mniejszy model, nazywany uczniem, uczy się naśladować większy model, czyli nauczyciela. Uczeń jest szybszy i tańszy w użyciu, a przy dobrze dobranych danych zachowuje dużą część jakości nauczyciela w zadaniach, na których go wytrenowano.
Jak działa destylacja
W klasycznym uczeniu model dostaje tylko poprawną odpowiedź, np. „kot”. W destylacji uczeń widzi też, jak nauczyciel rozkłada prawdopodobieństwo między wszystkie odpowiedzi, np. „kot 90%, ryś 8%, pies 2%”. Te „miękkie” etykiety niosą więcej informacji o tym, które odpowiedzi są do siebie podobne, więc uczeń uczy się szybciej i lepiej uogólnia. Technikę spopularyzowali Geoffrey Hinton, Oriol Vinyals i Jeff Dean w pracy z 2015 r.
Destylacja dużych modeli językowych
Przy LLM stosuje się dwa podejścia:
- Destylacja rozkładów – uczeń uczy się rozkładu prawdopodobieństwa kolejnych tokenów nauczyciela. Wymaga dostępu do wnętrza obu modeli, więc stosują ją głównie twórcy rodzin modeli, np. przy mniejszych wersjach Gemmy czy Llamy.
- Destylacja przez dane – duży model generuje odpowiedzi, a na nich dostraja się mniejszy (fine-tuning). To najprostsza i najczęstsza forma w firmach. Przykładem są mniejsze modele DeepSeek-R1, wytrenowane na przykładach rozumowania wygenerowanych przez duży model.
Przed destylacją przez dane sprawdź licencję i regulamin dostawcy dużego modelu. Część z nich zabrania używania odpowiedzi do trenowania konkurencyjnych modeli.
Destylacja a inne techniki
- Kwantyzacja zmienia zapis wag tego samego modelu. Destylacja tworzy nowy, mniejszy model. Obie techniki często się łączy.
- Pruning (przycinanie) usuwa mniej ważne wagi lub warstwy istniejącego modelu. Po przycięciu model często „leczy się” właśnie destylacją.
- LoRA to sposób taniego dostrajania. Przy destylacji przez dane można jej użyć do treningu ucznia.
Kiedy warto destylować
Gdy duży model dobrze rozwiązuje jedno konkretne zadanie, np. klasyfikację zgłoszeń czy wyciąganie danych z dokumentów, ale jest zbyt drogi albo zbyt wolny w produkcji. Mały model dostrojony na kilku tysiącach dobrych przykładów potrafi wtedy działać wielokrotnie taniej. Gorzej sprawdza się przy zadaniach ogólnych: uczeń zwykle traci na szerokości wiedzy i jakości rozumowania poza obszarem, na którym go uczono. Wynik zawsze warto zmierzyć na własnym zestawie testowym (zob. ewaluacja LLM).
Destylacja w pracy
Z destylacją pracują głównie ML Engineerowie i LLM Engineerowie odpowiedzialni za koszty i wydajność modeli, a także zespoły badawcze. Zobacz oferty LLM Engineer i oferty Machine Learning Engineer.
Najczęstsze pytania
Co to jest destylacja w jednym zdaniu?
To trenowanie małego modelu tak, żeby odtwarzał zachowanie dużego, przy niższym koszcie i krótszym czasie odpowiedzi.
Czy model po destylacji jest tak dobry jak oryginał?
Zwykle nie we wszystkim. W zadaniu, na którym go trenowano, może być blisko nauczyciela, ale w innych zadaniach wypada wyraźnie słabiej.
Praca, w której przyda się: Destylacja modeli
LLM Engineer (100% Remote within Poland)
20.11.2026
SAP Architect (Technical, GenAI, SAP Innovation)
20.11.2026
Backend Engineer (Python, GenAI)
20.11.2026
Solution Architect (Agentic AI, GenAI, Custom Development)
20.11.2026
Szukasz pracy w AI? 249 ofert z firm takich jak NVIDIA, Intel czy ElevenLabs.
Zobacz oferty