Wenn ein Modell das nächste Token auswählt, erzeugt es über die Softmax-Funktion eine Wahrscheinlichkeitsverteilung. Die Temperature skaliert die Logits vor der Softmax mit dem Faktor 1/T – ein Mechanismus, den Hinton et al. (2015) beschrieben haben. Ein höheres T glättet die Verteilung, sodass unwahrscheinliche Tokens eine fairere Chance bekommen; ein niedrigeres T schärft sie in Richtung des wahrscheinlichsten Tokens.
Bei einer Temperature von 0 ist die Ausgabe praktisch deterministisch – nützlich für Extraktion oder Code. Höhere Werte eignen sich für Brainstorming, erhöhen aber das Risiko von Abschweifungen und Halluzinationen.