추측 디코딩(Speculative Decoding)

Leviathan 외(2023)는 추측 디코딩을 제안했습니다. 작고 저렴한 "초안" 모델이 여러 토큰을 제안하면, 대형 타깃 모델이 한 번의 병렬 패스로 이를 모두 검사해 올바른 가장 긴 접두부를 채택합니다. 검증이 병렬로 이루어지므로 생성 속도가 2–3배 빨라지며, 출력 분포는 대형 모델 단독으로 생성할 때와 동일하다는 것이 증명되어 있습니다.

사용자가 보는 응답을 바꾸지 않고도 대형 모델 서비스의 지연 시간을 줄이는 방법으로, 현재는 표준적인 기법이 되었습니다.