Okno kontekstowe (Context Window)

Okno kontekstowe (ang. context window) to maksymalna ilość tekstu – liczona w tokenach – którą model językowy może przetworzyć naraz. Mieści się w nim wszystko, co model „widzi” w danym momencie: instrukcje systemowe, Twoje pytanie, historia rozmowy, załączone dokumenty, wyniki narzędzi oraz generowana odpowiedź.

Jak to działa

Model nie ma pamięci między zapytaniami – przy każdej odpowiedzi dostaje cały kontekst od nowa. Jeśli rozmowa lub dokumenty przekroczą okno kontekstowe, najstarsze fragmenty trzeba pominąć, skrócić albo streścić; inaczej model zwróci błąd. Wielkość okna podaje się w tokenach, a nie w słowach czy znakach – w języku polskim to samo zdanie zajmuje zwykle więcej tokenów niż po angielsku.

Jak duże są okna kontekstowe

Wczesne modele GPT miały okna rzędu kilku tysięcy tokenów (kilka stron tekstu). Współczesne modele obsługują zwykle od ok. 100 tysięcy do ponad miliona tokenów – to setki stron lub cała baza kodu. Konkretny limit zależy od modelu i dostawcy i często rośnie z każdą wersją, dlatego zawsze warto sprawdzić dokumentację.

Dlaczego większe okno to nie wszystko

• Koszt i czas – każdy token w kontekście trzeba przetworzyć przy każdej odpowiedzi; długi kontekst oznacza wyższe rachunki za API i wolniejszą inferencję.
• Jakość – modele nie zawsze równie dobrze wykorzystują informacje z całego okna; badania pokazały, że fakty ukryte w środku bardzo długiego kontekstu bywają gorzej odnajdywane niż te na początku lub końcu („lost in the middle”).
• Szum – zbyt dużo nieistotnych danych może pogorszyć odpowiedź i sprzyjać halucynacjom.

Jak radzić sobie z ograniczeniem okna

• RAG – zamiast wklejać wszystkie dokumenty, wyszukuje się tylko najbardziej pasujące fragmenty (np. za pomocą embeddingów).
• Streszczanie historii – starsze części rozmowy zastępuje się ich podsumowaniem.
• Dzielenie zadań – długi dokument przetwarza się w częściach, a wyniki łączy.
• Pamięć zewnętrzna – agenci AI zapisują ważne informacje w plikach lub bazie i wczytują je, gdy są potrzebne.
• Prompt caching – część dostawców pozwala buforować powtarzający się początek kontekstu, co obniża koszt i czas odpowiedzi.

Skąd biorą się limity

W architekturze Transformer mechanizm uwagi porównuje każdy token z każdym innym, więc klasyczne obliczenia rosną kwadratowo z długością tekstu, a pamięć zajmuje też KV cache. Techniki takie jak FlashAttention, wydajne kodowanie pozycji czy rozproszenie obliczeń na wiele GPU pozwoliły wydłużyć okna z tysięcy do milionów tokenów.

Najczęstsze pytania

Co to jest okno kontekstowe w jednym zdaniu?

To limit tego, ile tekstu (w tokenach) model AI może jednocześnie „mieć przed oczami” – łącznie z pytaniem, historią rozmowy i odpowiedzią.

Czy okno kontekstowe to pamięć modelu?

Raczej pamięć robocza. Model nie zapamiętuje rozmów na stałe – to, co jest poza oknem, nie istnieje dla niego, chyba że aplikacja dostarczy to ponownie.

Ile tekstu mieści 100 tysięcy tokenów?

Orientacyjnie kilkaset stron tekstu po angielsku; po polsku nieco mniej, bo polskie słowa dzielone są na więcej tokenów.