Holtzman et al. (2020) ont montré que choisir systématiquement les tokens les plus probables rend le texte généré fade et répétitif, alors qu’échantillonner dans la distribution complète le rend incohérent. Leur solution, le nucleus sampling (échantillonnage top-p), limite chaque choix au « noyau » dynamique de tokens qui concentrent ensemble une masse de probabilité p, puis échantillonne dans cet ensemble.
Dans la plupart des API de chat, le top-p est associé à la température pour équilibrer variété et cohérence ; la méthode apparentée top-k conserve quant à elle un nombre fixe de candidats.