埋め込み（エンベディング）

埋め込みは、単語、文、文書を連続的なベクトル空間に写像し、その距離が意味の近さを表すようにしたものです。Mikolov ら（2013）は、生のテキストから学習したこうしたベクトルが驚くほど豊かな関係性を捉えることを示し、Pennington ら（2014）は GloVe という手法で、単語の大域的な共起統計からベクトルを導き出しました。

現代の LLM は文脈に応じた埋め込みを作ります。同じ単語でも、周囲の文脈によって異なるベクトルになるのです。埋め込みは、人間の言葉とモデルが行う数値演算とをつなぐ架け橋です。

なぜ重要なのか

埋め込みは、セマンティック検索、検索拡張生成（RAG）、クラスタリングを支えています。キーワードが一致しなくても、ナレッジベースが質問に本当に答えている箇所を見つけられるのは、埋め込みのおかげです。