Ein Embedding bildet Wörter, Sätze oder Dokumente in einen kontinuierlichen Vektorraum ab, in dem der Abstand die Bedeutung widerspiegelt. Mikolov et al. (2013) zeigten, dass solche aus Rohtext gelernten Vektoren überraschend reichhaltige Beziehungen erfassen; Pennington et al. (2014) leiteten sie mit der GloVe-Methode aus globalen Statistiken zum gemeinsamen Auftreten von Wörtern ab.
Moderne LLMs erzeugen kontextuelle Embeddings – dasselbe Wort erhält je nach Umgebung unterschiedliche Vektoren. Embeddings sind die Brücke zwischen menschlicher Sprache und den numerischen Operationen, die ein Modell ausführt.
Warum das wichtig ist
Embeddings ermöglichen semantische Suche, Retrieval-Augmented Generation und Clustering. Mit ihnen findet eine Wissensdatenbank die Passage, die eine Frage tatsächlich beantwortet – selbst wenn kein einziges Stichwort übereinstimmt.