Słownik pojęć AI

Context Window (okno kontekstowe)

Context Window w kontekście przetwarzania języka naturalnego (NLP) i uczenia maszynowego odnosi się do zakresu słów lub tokenów wokół danego słowa lub tokenu, który jest brany pod uwagę przy analizie lub generowaniu tekstu. Okno kontekstowe jest używane do ustalenia, jakie informacje z otaczającego tekstu są istotne dla zrozumienia lub przewidywania bieżącego słowa lub frazy. Istnieją różne aspekty i zastosowania okna kontekstowego:

1. Rozmiar Okna: Rozmiar okna kontekstowego może być stały lub zmienny i zależy od konkretnej aplikacji lub modelu. W niektórych modelach, takich jak tradycyjne modele n-gramowe, rozmiar okna jest stały i ograniczony do n kolejnych słów. W bardziej zaawansowanych modelach, takich jak sieci neuronowe, rozmiar okna może być większy i bardziej elastyczny.
2. Zastosowanie w Modelach Językowych: W modelach językowych, takich jak BERT czy GPT, okno kontekstowe odnosi się do liczby słów z przodu i z tyłu od bieżącego słowa, które model bierze pod uwagę podczas uczenia się czy generowania tekstu. To pozwala modelowi na lepsze zrozumienie znaczenia i użycia słów w kontekście.
3. Wpływ na Zrozumienie Tekstu: Okno kontekstowe jest kluczowe w zrozumieniu niuansów języka, takich jak ironia, sarkazm, znaczenie słów w kontekście, a także w rozpoznawaniu entytetów nazwanych i relacji między nimi.
4. Zastosowanie w Innych Dziedzinach: Poza NLP, pojęcie okna kontekstowego jest również używane w innych dziedzinach, takich jak analiza szeregów czasowych, gdzie okno kontekstowe może odnosić się do zakresu kolejnych punktów danych, branych pod uwagę przy przewidywaniach.