Holtzman et al. (2020) mostraram que escolher sempre os tokens mais prováveis deixa o texto gerado sem graça e repetitivo, enquanto amostrar da distribuição completa o torna incoerente. A solução proposta, o nucleus sampling (top-p), restringe cada escolha ao “núcleo” dinâmico de tokens que, juntos, concentram a massa de probabilidade p, e então amostra desse conjunto.
Na maioria das APIs de chat, o top-p é combinado com a temperatura para equilibrar variedade e coerência; o método relacionado top-k, por sua vez, mantém um número fixo de candidatos.