컨텍스트 윈도

Transformer의 셀프 어텐션(Vaswani 외, 2017)은 고정된 범위의 토큰에 대해 작동하며, 이 범위가 바로 컨텍스트 윈도우입니다. 지시 사항, 이전 대화, 검색된 문서, 현재 생성 중인 텍스트 등 모델이 한 번에 ‘볼’ 수 있는 모든 것이 이 안에 들어가야 합니다.

윈도우를 넘어서면 가장 오래된 내용부터 시야에서 사라집니다. 모델은 오류를 내지 않고, 더 이상 들어가지 않는 내용에 주의를 기울이지 않을 뿐입니다. 긴 대화에서 앞부분의 세부 내용이 사라지고, 가장 관련성 높은 구절만 다시 넣어 주기 위해 검색(retrieval)을 활용하는 이유가 여기에 있습니다.