嵌入把单词、句子或文档映射到一个连续的向量空间中，距离远近反映含义的相近程度。Mikolov 等人（2013）证明，从原始文本中学到的这类向量能捕捉到出人意料的丰富关系；Pennington 等人（2014）则在 GloVe 方法中基于全局词共现统计推导出词向量。
现代 LLM 构建的是上下文嵌入——同一个词会因上下文不同而得到不同的向量。嵌入是连接人类语言与模型所执行数值运算的桥梁。
为什么重要
嵌入为语义搜索、检索增强生成和聚类提供支撑。知识库正是借助嵌入，才能找到真正回答问题的那段内容——即使没有任何关键词匹配。