Nucleus Sampling（Top-p）

Holtzman ら（2020）は、常に最も確率の高いトークンを選ぶと生成される文章が平板で繰り返しの多いものになり、逆に確率分布全体からサンプリングすると支離滅裂になることを示しました。その解決策として提案されたのが Nucleus Sampling（Top-p サンプリング）です。合計で確率質量 p を占めるトークンの動的な「核（nucleus）」に候補を絞り込み、その中からサンプリングします。

多くのチャット API では、Top-p を temperature と組み合わせて、多様性と一貫性のバランスを取ります。関連する Top-k 手法は、代わりに候補数を固定します。