投機的デコーディング（Speculative Decoding）

Leviathan ら（2023）が提案した投機的デコーディングでは、小さく低コストな「ドラフト」モデルが複数のトークンを提案し、大きなターゲットモデルがそれらを1回の並列処理でまとめて検証して、正しい最長の接頭部分を採用します。検証が並列で行われるため、大きなモデル単体の場合と出力分布が同一であることが証明されたうえで、生成速度が2～3倍に向上します。

ユーザーが目にする応答を変えずに、大規模モデルの提供時のレイテンシを削減する手法として、現在では標準的に使われています。