Temperature（温度）

モデルが次のトークンを選ぶ際には、softmax 関数によって確率分布が生成されます。Temperature は softmax の前にロジットを 1/T 倍にスケーリングするもので、この仕組みは Hinton et al.（2015）で説明されています。T を高くすると分布が平らになり、確率の低いトークンにも選ばれる余地が生まれます。T を低くすると分布が鋭くなり、最も確率の高い単一のトークンに集中します。

Temperature が 0 のとき、出力は実質的に決定論的になり、情報抽出やコード生成に適しています。高い値はブレインストーミングに向いていますが、話がそれたりハルシネーションが起きたりするリスクも高まります。