Holtzman et al. (2020) hanno mostrato che scegliere sempre i token più probabili rende il testo generato piatto e ripetitivo, mentre campionare dall'intera distribuzione lo rende incoerente. La loro soluzione, il nucleus sampling (top-p), limita ogni scelta al «nucleo» dinamico di token che insieme concentrano una massa di probabilità p, e poi campiona da quell'insieme.
Nella maggior parte delle API di chat il top-p si usa insieme alla temperatura per bilanciare varietà e coerenza; il metodo affine top-k mantiene invece un numero fisso di candidati.