뉴클리어스 샘플링(Nucleus Sampling, Top-p)

Holtzman 외(2020)는 항상 가장 가능성 높은 토큰만 고르면 생성된 텍스트가 밋밋하고 반복적이 되고, 전체 분포에서 샘플링하면 일관성이 없어진다는 것을 보여 주었습니다. 이들이 제시한 해결책인 뉴클리어스(top-p) 샘플링은 매번 선택 범위를 합쳐서 확률 질량 p를 차지하는 토큰들의 동적인 "핵(nucleus)"으로 제한한 뒤, 그 집합 안에서 샘플링합니다.

대부분의 채팅 API에서는 다양성과 일관성의 균형을 맞추기 위해 top-p를 temperature와 함께 사용합니다. 관련 기법인 top-k는 이와 달리 고정된 수의 후보만 남깁니다.