Transformer (architektura)

Transformer to architektura sieci neuronowej zaprezentowana w 2017 roku w pracy naukowej Google „Attention Is All You Need”. Stała się fundamentem współczesnej sztucznej inteligencji: na Transformerach opierają się duże modele językowe (GPT, Claude, Gemini, Llama), modele BERT, a także wiele modeli do obrazu (Vision Transformer), mowy i wideo.

Co było przełomem

Wcześniejsze modele językowe (sieci rekurencyjne RNN i LSTM) czytały tekst słowo po słowie, co było wolne i utrudniało „pamiętanie” odległych fragmentów. Transformer zastąpił to mechanizmem uwagi (self-attention): każdy token może bezpośrednio „spojrzeć” na wszystkie inne tokeny w sekwencji i ocenić, które są dla niego istotne. Obliczenia dla całej sekwencji można wykonywać równolegle na GPU, co umożliwiło trenowanie modeli na niespotykaną wcześniej skalę.

Budowa w skrócie

• Embeddingi i kodowanie pozycji - tokeny zamieniane są na wektory (embeddingi), do których dodaje się informację o kolejności.
• Multi-head attention - wiele równoległych „głowic” uwagi, z których każda może wychwytywać inne zależności (np. składniowe, znaczeniowe).
• Warstwy feed-forward - przetwarzają reprezentację każdego tokenu osobno.
• Połączenia resztkowe i normalizacja - ułatwiają trenowanie bardzo głębokich sieci.

Warianty

• Encoder (np. BERT) - rozumienie tekstu: klasyfikacja, wyszukiwanie, embeddingi.
• Decoder (np. GPT, Llama) - generowanie tekstu token po tokenie; tak zbudowana jest większość dzisiejszych LLM.
• Encoder-decoder (np. T5, oryginalny Transformer) - zadania typu sequence-to-sequence, jak tłumaczenie.

Jedną z wad klasycznej uwagi jest koszt rosnący kwadratowo z długością sekwencji - dlatego intensywnie rozwija się techniki takie jak FlashAttention czy alternatywne architektury, które pozwalają obsługiwać coraz dłuższe okna kontekstowe.