2013
Efficient Estimation of Word Representations in Vector Space (word2vec)
Pokazała, że słowa można zapisać jako wektory, w których podobne znaczenia leżą blisko siebie. Początek ery embeddingów.
Najważniejsze prace naukowe o AI
32 publikacji, które zbudowały współczesną sztuczną inteligencję - od pierwszego mechanizmu uwagi po modele rozumujące. Do każdej krótko po polsku: co wniosła i dlaczego jest ważna. Wszystkie są dostępne bezpłatnie.
Na skróty: Język, uwaga i Transformery · Duże modele językowe i skalowanie · Dostrajanie i alignment · Rozumowanie, narzędzia i agenci · Obraz, multimodalność i generowanie · Uczenie przez wzmacnianie · Trening i wydajność
Język, uwaga i Transformery
2014
Sequence to Sequence Learning with Neural Networks
Architektura enkoder-dekoder, która zamienia jedną sekwencję w drugą - przełom w tłumaczeniu maszynowym.
Wyjaśnienie w słowniku: Modele sequence-to-sequence (Seq2Seq) →
2014
Neural Machine Translation by Jointly Learning to Align and Translate
Pierwsze zastosowanie mechanizmu uwagi: model sam wybiera, na które słowa źródłowe „patrzeć” przy tłumaczeniu.
2017
Attention Is All You Need
Najważniejsza praca współczesnego AI. Wprowadziła architekturę Transformer opartą wyłącznie na uwadze - fundament GPT, Claude, Gemini i niemal wszystkich dzisiejszych modeli.
Wyjaśnienie w słowniku: BERT (Bidirectional Encoder Representations from Transformers) →
2018
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Model, który czyta tekst w obie strony i po wstępnym treningu daje się łatwo dostroić do wielu zadań NLP. Przez lata standard w wyszukiwaniu i klasyfikacji tekstu.
Wyjaśnienie w słowniku: BERT (Bidirectional Encoder Representations from Transformers) →
Duże modele językowe i skalowanie
2020
Scaling Laws for Neural Language Models
Pokazała, że jakość modeli przewidywalnie rośnie wraz z rozmiarem modelu, danych i mocy obliczeniowej - uzasadnienie wyścigu na coraz większe modele.
2020
Language Models are Few-Shot Learners (GPT-3)
Model z 175 mld parametrów, który wykonuje nowe zadania na podstawie kilku przykładów w promptcie, bez dodatkowego treningu.
2022
Training Compute-Optimal Large Language Models (Chinchilla)
Wykazała, że wcześniejsze modele były „niedouczone”: przy danym budżecie lepiej trenować mniejszy model na większej liczbie tokenów.
2023
LLaMA: Open and Efficient Foundation Language Models
Udostępnienie wag silnych modeli badaczom zapoczątkowało falę modeli open-weight i dostrajania na własnym sprzęcie.
2024
Mixtral of Experts
Popularyzacja architektury Mixture of Experts: dla każdego tokenu działa tylko część sieci, co daje jakość dużego modelu przy niższym koszcie.
Dostrajanie i alignment
2021
LoRA: Low-Rank Adaptation of Large Language Models
Dostrajanie modelu przez trenowanie małych dodatkowych macierzy zamiast wszystkich wag. Dziś domyślna metoda taniego fine-tuningu.
2022
Training language models to follow instructions with human feedback (InstructGPT)
Opisała RLHF - uczenie modelu na podstawie ocen ludzi. Ta technika zamieniła GPT-3 w asystenta i stała za sukcesem ChatGPT.
2022
Constitutional AI: Harmlessness from AI Feedback
Model ocenia i poprawia własne odpowiedzi według spisanego zestawu zasad („konstytucji”), co ogranicza potrzebę ręcznego oznaczania danych.
2023
Direct Preference Optimization (DPO)
Prostsza alternatywa dla RLHF: model uczy się preferencji ludzi bezpośrednio, bez osobnego modelu nagrody i uczenia przez wzmacnianie.
Rozumowanie, narzędzia i agenci
2022
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
Prośba o rozpisanie rozumowania krok po kroku wyraźnie poprawia wyniki modeli w zadaniach matematycznych i logicznych.
2022
ReAct: Synergizing Reasoning and Acting in Language Models
Model na przemian rozumuje i wykonuje akcje (np. wyszukiwanie), obserwując ich wyniki - wzorzec, na którym opiera się większość agentów AI.
2023
Toolformer: Language Models Can Teach Themselves to Use Tools
Model sam uczy się, kiedy wywołać kalkulator, wyszukiwarkę czy API - zapowiedź function calling.
2020
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
Połączenie modelu językowego z wyszukiwaniem dokumentów. Dziś podstawa większości firmowych chatbotów i asystentów.
Wyjaśnienie w słowniku: RAG (Retrieval-Augmented Generation) →
2025
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
Pokazała, że zdolności rozumowania można wytrenować głównie uczeniem przez wzmacnianie i udostępniła taki model otwarcie. Zob. nasz artykuł o DeepSeek.
Wyjaśnienie w słowniku: Uczenie przez wzmacnianie (Reinforcement Learning) →
Obraz, multimodalność i generowanie
2012
ImageNet Classification with Deep Convolutional Neural Networks (AlexNet)
Sieć konwolucyjna trenowana na GPU zdeklasowała konkurencję w ImageNet. Moment, od którego liczy się rewolucję deep learningu.
2014
Generative Adversarial Networks
Dwie sieci - generator i dyskryminator - rywalizują ze sobą, ucząc się tworzyć realistyczne obrazy.
Wyjaśnienie w słowniku: Sieci GAN (Generative Adversarial Networks) →
2015
Deep Residual Learning for Image Recognition (ResNet)
Połączenia resztkowe pozwoliły trenować sieci z setkami warstw. Ten sam pomysł jest w każdym Transformerze.
2020
An Image is Worth 16x16 Words (Vision Transformer)
Transformer zastosowany do obrazów podzielonych na fragmenty dorównał sieciom konwolucyjnym.
Wyjaśnienie w słowniku: Wizja komputerowa (Computer Vision) →
2020
Denoising Diffusion Probabilistic Models
Generowanie obrazów przez stopniowe usuwanie szumu - podstawa dzisiejszych modeli do obrazu i wideo.
2021
Learning Transferable Visual Models From Natural Language Supervision (CLIP)
Model uczony na parach obraz-podpis łączy tekst i obraz we wspólnej przestrzeni. Kluczowy element generatorów obrazów i modeli multimodalnych.
2021
High-Resolution Image Synthesis with Latent Diffusion Models
Dyfuzja w skompresowanej przestrzeni zamiast na pikselach - praca stojąca za Stable Diffusion.
Uczenie przez wzmacnianie
2013
Playing Atari with Deep Reinforcement Learning (DQN)
Sieć neuronowa nauczyła się grać w gry Atari wyłącznie z pikseli i wyniku - początek głębokiego uczenia przez wzmacnianie.
2017
Proximal Policy Optimization Algorithms (PPO)
Stabilny i prosty algorytm RL, przez lata używany m.in. do trenowania modeli językowych metodą RLHF.
Wyjaśnienie w słowniku: Uczenie przez wzmacnianie (Reinforcement Learning) →
Trening i wydajność
2014
Adam: A Method for Stochastic Optimization
Najpopularniejszy algorytm optymalizacji w deep learningu - domyślny wybór przy trenowaniu sieci.
2015
Batch Normalization
Normalizacja aktywacji między warstwami przyspieszyła i ustabilizowała trenowanie głębokich sieci.
2022
FlashAttention: Fast and Memory-Efficient Exact Attention
Sprytne wykorzystanie pamięci GPU kilkukrotnie przyspieszyło obliczanie uwagi i umożliwiło dłuższe okna kontekstowe.
2023
Efficient Memory Management for LLM Serving with PagedAttention (vLLM)
Zarządzanie pamięcią podręczną modelu jak stronicowaniem w systemie operacyjnym. Podstawa vLLM - jednego z najpopularniejszych silników inferencji.
Chcesz się uczyć dalej? Zobacz kursy i repozytoria, od podstaw po budowę agentów.
Kursy i materiały