LoRA

LoRA (ang. Low-Rank Adaptation) to metoda dostrajania (fine-tuningu) dużych modeli, w której oryginalne wagi zostają zamrożone, a trenuje się tylko małe dodatkowe macierze. Dzięki temu dostrajanie modelu z miliardami parametrów wymaga ułamka pamięci i czasu, a wynikowy „adapter” waży zwykle od kilku do kilkuset megabajtów.

Jak działa LoRA

W zwykłym fine-tuningu zmienia się całą macierz wag W warstwy. LoRA zakłada, że potrzebna zmiana ma niski „rząd” (ang. rank), więc zapisuje ją jako iloczyn dwóch wąskich macierzy: W' = W + B·A. Jeśli W ma wymiary 4096 × 4096 (ok. 16,8 mln liczb), a rząd r = 16, to A i B mają razem tylko ok. 131 tys. parametrów – ponad 100 razy mniej.

Metodę opisali badacze Microsoftu w 2021 roku (Hu i in., LoRA: Low-Rank Adaptation of Large Language Models). Dla GPT-3 175B zmniejszyła liczbę trenowanych parametrów ok. 10 000 razy, a zapotrzebowanie na pamięć GPU ok. 3 razy, przy jakości porównywalnej z pełnym fine-tuningiem.

Najważniejsze parametry

• Rząd (r) – szerokość macierzy A i B, zwykle 8–64. Wyższy daje adapterowi więcej „pojemności”, ale kosztuje więcej pamięci.
• Alpha – współczynnik skalujący wpływ adaptera na wynik.
• Moduły docelowe – warstwy, do których dodaje się adaptery, np. tylko projekcje uwagi (q, v) albo wszystkie warstwy liniowe.

QLoRA i inne warianty

• QLoRA (Dettmers i in., 2023) – model bazowy jest wczytany w 4 bitach (zob. kwantyzacja), a trenowane adaptery w wyższej precyzji. Autorzy dostroili tak model 65B na jednej karcie GPU z 48 GB pamięci.
• DoRA i inne rozwinięcia – próbują zbliżyć jakość do pełnego fine-tuningu przy podobnym koszcie.

Zalety LoRA w praktyce

• Tanio – dostrajanie modeli 7–13B jest możliwe na pojedynczym GPU, także w chmurze za kilka dolarów za godzinę.
• Wiele adapterów, jeden model – osobny adapter dla każdego klienta lub zadania; serwery takie jak vLLM potrafią obsługiwać wiele adapterów LoRA naraz na jednym modelu bazowym.
• Łatwe wdrożenie – adapter można też „wtopić” w wagi modelu, więc nie spowalnia inferencji.

LoRA nie służy tylko do modeli językowych: w generowaniu obrazów (np. Stable Diffusion) adaptery LoRA uczą model konkretnego stylu, postaci czy produktu.

Narzędzia

Najczęściej używa się biblioteki Hugging Face PEFT (razem z Transformers i TRL), a także Unsloth, Axolotl czy LLaMA-Factory. Dostrajanie z LoRA oferują też platformy chmurowe dostawców modeli.

LoRA w ofertach pracy

LoRA, QLoRA i PEFT to typowe wymagania w ofertach dla LLM Engineerów i ML Engineerów, którzy dostosowują otwarte modele (Llama, Mistral, Qwen, Bielik) do zadań firmy. Zobacz oferty LLM Engineer i oferty z PyTorch.

Najczęstsze pytania

Co to jest LoRA w jednym zdaniu?

To sposób dostrajania dużego modelu przez trenowanie małych dodatkowych macierzy zamiast wszystkich jego wag.

Czy LoRA jest tak dobra jak pełny fine-tuning?

W wielu zadaniach daje bardzo zbliżone wyniki, zwłaszcza gdy chodzi o styl, format odpowiedzi czy wąską dziedzinę. Przy uczeniu modelu dużej ilości nowej wiedzy pełny fine-tuning bywa lepszy.

LoRA czy RAG?

LoRA zmienia sposób, w jaki model odpowiada (styl, format, zachowanie). RAG dostarcza modelowi aktualnych faktów z dokumentów. Jeśli model ma znać Twoje dane, zacznij od RAG; jeśli ma inaczej się zachowywać – rozważ LoRA.