Holtzman et al. (2020) zeigten, dass die stete Wahl der wahrscheinlichsten Tokens generierten Text fade und repetitiv macht, während das Sampling aus der vollständigen Verteilung ihn inkohärent werden lässt. Ihre Lösung, das Nucleus-Sampling (Top-p), beschränkt jede Auswahl auf den dynamischen „Nucleus“ von Tokens, die zusammen die Wahrscheinlichkeitsmasse p tragen, und zieht dann aus dieser Menge.
In den meisten Chat-APIs wird Top-p mit der Temperatur kombiniert, um Vielfalt und Kohärenz auszubalancieren; das verwandte Top-k-Verfahren behält stattdessen eine feste Zahl von Kandidaten.