Un embedding projette des mots, des phrases ou des documents dans un espace vectoriel continu où la distance reflète le sens. Mikolov et al. (2013) ont montré que de tels vecteurs, appris à partir de texte brut, capturent des relations étonnamment riches ; Pennington et al. (2014) les ont dérivés de statistiques globales de cooccurrence des mots avec la méthode GloVe.
Les LLM modernes construisent des embeddings contextuels : un même mot reçoit des vecteurs différents selon son entourage. Les embeddings font le pont entre le langage humain et les opérations numériques qu’effectue un modèle.
Pourquoi c’est important
Les embeddings alimentent la recherche sémantique, la génération augmentée par récupération et le clustering. C’est grâce à eux qu’une base de connaissances trouve le passage qui répond vraiment à une question, même quand aucun mot-clé ne correspond.