Un embedding proietta parole, frasi o documenti in uno spazio vettoriale continuo in cui la distanza riflette il significato. Mikolov et al. (2013) hanno dimostrato che questi vettori, appresi da testo grezzo, catturano relazioni sorprendentemente ricche; Pennington et al. (2014) li hanno ricavati dalle statistiche globali di co-occorrenza delle parole con il metodo GloVe.
Gli LLM moderni costruiscono embedding contestuali: la stessa parola riceve vettori diversi a seconda di ciò che la circonda. Gli embedding sono il ponte tra il linguaggio umano e le operazioni numeriche che un modello esegue.
Perché è importante
Gli embedding alimentano la ricerca semantica, la retrieval-augmented generation e il clustering. È grazie a loro che una knowledge base trova il passaggio che risponde davvero a una domanda, anche quando nessuna parola chiave coincide.