Fine-tuning

Fine-tuning (dostrajanie) to dodatkowe trenowanie wcześniej wytrenowanego modelu na mniejszym, specjalistycznym zbiorze danych, aby dopasować go do konkretnego zadania, dziedziny lub stylu. Zamiast trenować model od zera - co w przypadku LLM kosztuje miliony dolarów - wykorzystujemy wiedzę, którą model już ma, i „douczamy” go tylko tego, czego potrzebujemy.

Kiedy warto robić fine-tuning

• model ma odpowiadać w ściśle określonym formacie lub stylu (np. tonie marki),
• zadanie jest wąskie i powtarzalne (klasyfikacja zgłoszeń, ekstrakcja danych z dokumentów),
• chcemy, by mniejszy i tańszy model dorównał większemu w konkretnym zadaniu (tzw. destylacja),
• model ma lepiej radzić sobie ze specjalistycznym językiem (medycyna, prawo).

Jeśli celem jest dostarczenie modelowi aktualnej wiedzy (np. dokumentacji firmy), zwykle lepiej sprawdza się RAG - łatwiej go aktualizować i mniej sprzyja halucynacjom. Często najtańszym pierwszym krokiem jest po prostu dobry prompt.

Rodzaje fine-tuningu

• Pełny fine-tuning - aktualizowane są wszystkie parametry modelu. Najskuteczniejszy, ale wymaga dużo pamięci GPU.
• PEFT (Parameter-Efficient Fine-Tuning) - trenowana jest tylko niewielka liczba dodatkowych parametrów. Najpopularniejsza metoda to LoRA (Low-Rank Adaptation) oraz jej wariant QLoRA, pozwalający dostrajać duże modele nawet na pojedynczej karcie graficznej.
• Instruction tuning - dostrajanie na parach „polecenie → odpowiedź”, które zamienia surowy model w asystenta.
• Uczenie z preferencji (RLHF, DPO) - model uczy się, które z dwóch odpowiedzi ludzie oceniają lepiej.

Na co uważać

Najważniejsza jest jakość danych - kilkaset starannie przygotowanych przykładów bywa lepsze niż dziesiątki tysięcy słabych. Zbyt agresywny fine-tuning może spowodować tzw. catastrophic forgetting, czyli utratę ogólnych umiejętności modelu. Zawsze warto mieć zbiór testowy i porównać wyniki z modelem bazowym.