Quando um modelo escolhe o próximo token, ele produz uma distribuição de probabilidade por meio da função softmax. A temperatura escala os logits antes do softmax por um fator de 1/T, mecanismo descrito por Hinton et al. (2015). Um T mais alto achata a distribuição, dando aos tokens improváveis uma chance mais justa; um T mais baixo a concentra no token mais provável.
Com temperatura 0, a saída é praticamente determinística, o que é útil para extração de dados ou código. Valores mais altos combinam com brainstorming, mas aumentam o risco de desvios e alucinações.