온도(Temperature)

모델은 다음 토큰을 고를 때 소프트맥스 함수로 확률 분포를 만듭니다. 온도는 소프트맥스에 들어가기 전의 로짓을 1/T배로 스케일링하는데, 이 메커니즘은 Hinton et al.(2015)이 설명한 바 있습니다. T가 높을수록 분포가 평평해져 가능성이 낮은 토큰에도 기회가 돌아가고, T가 낮을수록 분포가 뾰족해져 가장 확률이 높은 단일 토큰 쪽으로 쏠립니다.

온도가 0이면 출력은 사실상 결정론적이 되므로 정보 추출이나 코드 작성에 유용합니다. 높은 값은 브레인스토밍에 적합하지만, 주제에서 벗어나거나 환각이 생길 위험이 커집니다.