Cuando un modelo elige el siguiente token, genera una distribución de probabilidad mediante la función softmax. La temperatura escala los logits antes de la softmax por un factor de 1/T, un mecanismo descrito por Hinton et al. (2015). Un T más alto aplana la distribución para que los tokens improbables tengan más opciones; un T más bajo la concentra en el token más probable.
Con temperatura 0 la salida es prácticamente determinista, algo útil para extracción de datos o código. Los valores más altos van bien para la lluvia de ideas, pero aumentan el riesgo de desvíos y alucinaciones.