임베딩(Embedding)

임베딩은 단어, 문장, 문서를 거리가 의미를 반영하는 연속 벡터 공간에 대응시킵니다. Mikolov 외(2013)는 원시 텍스트에서 학습한 이러한 벡터가 놀라울 만큼 풍부한 관계를 담아낸다는 것을 보여 주었고, Pennington 외(2014)는 GloVe 기법에서 전역 단어 동시 출현 통계로부터 임베딩을 도출했습니다.

최신 LLM은 문맥적 임베딩을 만듭니다. 같은 단어라도 주변 문맥에 따라 다른 벡터를 갖게 됩니다. 임베딩은 인간의 언어와 모델이 수행하는 수치 연산을 잇는 다리입니다.

왜 중요한가

임베딩은 시맨틱 검색, 검색 증강 생성(RAG), 클러스터링을 가능하게 합니다. 키워드가 하나도 일치하지 않더라도 지식 베이스가 질문에 실제로 답하는 구절을 찾아낼 수 있는 것도 임베딩 덕분입니다.