Quando un modello sceglie il token successivo, produce una distribuzione di probabilità tramite la funzione softmax. La temperatura scala i logit prima della softmax di un fattore 1/T, un meccanismo descritto da Hinton et al. (2015). Una T più alta appiattisce la distribuzione, dando ai token improbabili una possibilità più equa; una T più bassa la rende più netta, spingendola verso il singolo token più probabile.
A temperatura 0 l'output è di fatto deterministico, utile per l'estrazione di dati o per il codice. Valori più alti si prestano al brainstorming, ma aumentano il rischio di derive e allucinazioni.