Un embedding asigna palabras, frases o documentos a un espacio vectorial continuo en el que la distancia refleja el significado. Mikolov et al. (2013) demostraron que estos vectores, aprendidos a partir de texto sin procesar, capturan relaciones sorprendentemente ricas; Pennington et al. (2014) los obtuvieron a partir de estadísticas globales de coocurrencia de palabras con el método GloVe.
Los LLM modernos crean embeddings contextuales: la misma palabra recibe vectores distintos según su entorno. Los embeddings son el puente entre el lenguaje humano y las operaciones numéricas que realiza un modelo.
Por qué importa
Los embeddings impulsan la búsqueda semántica, la generación aumentada por recuperación y el clustering. Gracias a ellos, una base de conocimiento encuentra el pasaje que realmente responde a una pregunta, aunque no coincida ninguna palabra clave.