Transformers to rodzaj architektury sieci neuronowej, która stała się bardzo popularna w dziedzinie NLP. Charakteryzuje się ona zdolnością do efektywnego przetwarzania sekwencji danych, co jest kluczowe w zadaniach związanych z językiem naturalnym. Modele oparte na transformers, takie jak GPT (Generative Pre-trained Transformer) i BERT (Bidirectional Encoder Representations from Transformers), osiągają imponujące wyniki w różnorodnych zastosowaniach NLP.