Lorsqu’un modèle choisit le token suivant, il produit une distribution de probabilités au moyen de la fonction softmax. La température divise les logits par T (facteur 1/T) avant le softmax, un mécanisme décrit par Hinton et al. (2015). Un T plus élevé aplatit la distribution, ce qui laisse davantage leur chance aux tokens peu probables ; un T plus bas la resserre autour du token le plus probable.
À une température de 0, la sortie est pratiquement déterministe, ce qui est utile pour l’extraction de données ou le code. Des valeurs plus élevées conviennent au brainstorming, mais augmentent le risque de dérive et d’hallucination.