Kwantyzacja

Kwantyzacja (ang. quantization) to zapisanie wag modelu AI – a czasem też aktywacji – z mniejszą precyzją liczbową, np. jako 8- lub 4-bitowe liczby całkowite zamiast 16-bitowych liczb zmiennoprzecinkowych. Model zajmuje wtedy kilka razy mniej pamięci, działa szybciej i taniej, a jego odpowiedzi zwykle są tylko nieznacznie gorsze.

Ile pamięci oszczędza kwantyzacja

Każdy parametr modelu to jedna liczba. Pamięć na same wagi to w przybliżeniu liczba parametrów × liczba bajtów na parametr:

• FP32 (4 bajty) – model 7B zajmuje ok. 28 GB,
• FP16 / BF16 (2 bajty) – ok. 14 GB; standard przy trenowaniu i serwowaniu,
• INT8 / FP8 (1 bajt) – ok. 7 GB,
• INT4 (pół bajta) – ok. 3,5–4 GB; taki model uruchomisz na laptopie.

Do tego dochodzi pamięć na KV cache i aktywacje podczas inferencji, więc realne zużycie jest trochę wyższe.

Jak to działa

Zakres wartości wag (np. od -0,8 do 0,8) dzieli się na niewielką liczbę poziomów – przy 4 bitach jest ich tylko 16. Każdą wagę zaokrągla się do najbliższego poziomu i zapisuje jej numer oraz skalę, która pozwala odtworzyć przybliżoną wartość. Skale liczy się zwykle osobno dla małych grup wag (np. po 64 lub 128), żeby kilka nietypowo dużych wartości nie psuło dokładności całej warstwy.

Rodzaje kwantyzacji

• PTQ (post-training quantization) – kwantyzacja gotowego modelu, bez ponownego trenowania. Szybka i najczęściej stosowana przy LLM.
• QAT (quantization-aware training) – model uczy się już z symulowaną niską precyzją, więc lepiej znosi kwantyzację. Droższe, ale daje lepszą jakość przy bardzo niskiej precyzji.
• Tylko wagi (np. W4A16) vs wagi i aktywacje (np. W8A8, FP8) – to drugie przyspiesza też same obliczenia na GPU, nie tylko zmniejsza model.

Popularne formaty i metody

• GGUF – format modeli dla llama.cpp i Ollamy, z wariantami typu Q4_K_M czy Q8_0; standard przy uruchamianiu modeli lokalnie na CPU i Macach.
• GPTQ i AWQ – metody kwantyzacji do 4 bitów z niewielką stratą jakości, popularne przy serwowaniu na GPU (np. w vLLM).
• bitsandbytes – biblioteka do ładowania modeli w 8 lub 4 bitach w Hugging Face Transformers; na niej opiera się QLoRA.
• FP8 – 8-bitowy format zmiennoprzecinkowy obsługiwany sprzętowo przez nowsze GPU NVIDIA (od generacji Hopper); coraz częściej używany w produkcji.

Kiedy kwantyzacja szkodzi

Przy 8 bitach różnica w jakości jest zwykle trudna do zauważenia. Przy 4 bitach mniejsze modele tracą więcej niż duże, a najbardziej cierpią zadania wymagające precyzji: matematyka, kod, długie rozumowanie. Poniżej 4 bitów (3, 2 bity) jakość spada już wyraźnie. Dlatego model po kwantyzacji warto sprawdzić na własnych przykładach, a nie tylko na ogólnych benchmarkach.

Kwantyzacja w pracy

Kwantyzacja to codzienność inżynierów od wydajności i wdrażania modeli: ML Performance Engineer, Inference Engineer, MLOps. W ofertach pojawia się obok CUDA, TensorRT-LLM, vLLM i optymalizacji kosztów GPU. Zobacz oferty z C++ i CUDA oraz oferty MLOps.

Najczęstsze pytania

Co to jest kwantyzacja w jednym zdaniu?

To zmniejszenie precyzji liczb, w których zapisany jest model, żeby zajmował mniej pamięci i działał szybciej.

Czy model po kwantyzacji jest gorszy?

Trochę, ale przy 8 bitach zwykle niezauważalnie, a przy 4 bitach to dla większości zastosowań rozsądny kompromis. Mocno odczuwalne straty zaczynają się poniżej 4 bitów.

Czym różni się kwantyzacja od destylacji?

Kwantyzacja zmienia zapis wag tego samego modelu. Destylacja tworzy nowy, mniejszy model, który uczy się naśladować większy. Obie techniki często się łączy.