Embeddings (osadzenia)

Embedding (osadzenie, reprezentacja wektorowa) to sposób zapisania słowa, zdania, dokumentu, obrazu czy produktu jako wektora liczb w taki sposób, by obiekty o podobnym znaczeniu miały podobne wektory. Dzięki temu komputer może „mierzyć” podobieństwo znaczeniowe zwykłą matematyką.

Intuicja

Wyobraź sobie mapę, na której każde słowo ma swoje współrzędne. Słowa „kot” i „pies” leżą blisko siebie, „samochód” dalej. Embeddingi to taka mapa, tylko zamiast 2 wymiarów ma ich setki lub tysiące (np. 768, 1536 czy 3072). Klasyczny przykład z modelu word2vec: król − mężczyzna + kobieta ≈ królowa.

Jak powstają

Embeddingi są uczone przez sieci neuronowe. Wczesne metody (word2vec, GloVe) tworzyły jeden wektor na słowo. Współczesne modele oparte na Transformerach (np. BERT i dedykowane modele embeddingowe) tworzą embeddingi kontekstowe - słowo „zamek” dostanie inny wektor w zdaniu o kłódce, a inny w zdaniu o średniowiecznej twierdzy.

Do czego się ich używa

• Wyszukiwanie semantyczne - znajdowanie dokumentów podobnych znaczeniowo, a nie tylko zawierających te same słowa.
• RAG - wyszukiwanie fragmentów wiedzy, które trafiają do kontekstu modelu językowego.
• Rekomendacje - podobni użytkownicy, podobne produkty.
• Klasteryzacja i klasyfikacja tekstów, wykrywanie duplikatów.

Podobieństwo i bazy wektorowe

Podobieństwo embeddingów mierzy się najczęściej podobieństwem cosinusowym (kąt między wektorami). Do szybkiego przeszukiwania milionów wektorów służą bazy wektorowe, takie jak pgvector (rozszerzenie PostgreSQL), Qdrant, Weaviate, Milvus czy Pinecone, które używają algorytmów przybliżonego wyszukiwania najbliższych sąsiadów (np. HNSW).