Słownik pojęć AI

Tokenizacja

Tokenizacja to proces dzielenia tekstu na mniejsze jednostki - tokeny - które model językowy potrafi przetwarzać. Tokenem może być całe słowo, jego fragment, pojedynczy znak, a nawet spacja czy znak interpunkcyjny. To pierwszy krok w niemal każdym systemie przetwarzania języka naturalnego (NLP) i w każdym dużym modelu językowym (LLM).

Dlaczego modele nie czytają po prostu słów?

Sieć neuronowa operuje na liczbach, nie na tekście. Tokenizer zamienia tekst na sekwencję identyfikatorów (liczb całkowitych) ze stałego słownika, a każdy identyfikator jest następnie zamieniany na wektor - embedding. Gdyby słownikiem były całe słowa, musiałby być ogromny (zwłaszcza dla języków fleksyjnych jak polski) i nie poradziłby sobie z nowymi słowami, literówkami czy nazwami własnymi.

Rodzaje tokenizacji

  • Na słowa - tekst dzielony po spacjach i interpunkcji. Prosta, ale słownik szybko puchnie, a nieznane słowa stają się problemem.
  • Na znaki - każdy znak to token. Mały słownik, ale bardzo długie sekwencje.
  • Na podsłowa (subword) - kompromis używany przez współczesne LLM. Częste słowa są jednym tokenem, rzadkie dzielone na fragmenty. Najpopularniejsze algorytmy to BPE (Byte Pair Encoding - używany m.in. w modelach GPT), WordPiece (BERT) i SentencePiece / Unigram.

Przykład

Zdanie „Tokenizacja jest prosta” może zostać podzielone np. na tokeny: Token izacja jest prost a. Dokładny podział zależy od tokenizera konkretnego modelu - ten sam tekst w różnych modelach da różną liczbę tokenów.

Dlaczego to ważne w praktyce

  • Koszty i limity - API modeli językowych rozliczają się za tokeny, a okno kontekstowe modelu też liczone jest w tokenach.
  • Język polski jest „droższy” - tokenizery trenowane głównie na angielskim dzielą polskie słowa na więcej fragmentów, więc ten sam tekst po polsku zużywa zwykle więcej tokenów niż po angielsku.
  • Dziwne błędy modeli - problemy LLM z liczeniem liter w słowie czy odwracaniem tekstu wynikają często z tego, że model „widzi” tokeny, a nie pojedyncze znaki.

Orientacyjnie: w języku angielskim jeden token to średnio ok. 4 znaki, czyli ok. 0,75 słowa; dla polskiego proporcja jest mniej korzystna.

Szukasz pracy w AI? 211 ofert z firm takich jak NVIDIA, Intel czy ElevenLabs.

Zobacz oferty