Leviathan 等人（2023）提出了推测解码：由一个小巧、廉价的“草稿”模型先提出若干 token，再由大型目标模型在一次并行计算中全部校验，并接受其中最长的正确前缀。由于验证是并行进行的，生成速度可提升 2–3 倍，而且可以证明其输出分布与单独使用大模型时完全相同。
如今，这已成为大模型推理服务中降低延迟的标准做法，而且不会改变用户看到的回答。
效率解码
2026 年更新
推测解码（Speculative Decoding）
定义
一种推理加速技术：由一个小而快的模型先起草若干 token，再由大模型并行验证——输出更快，结果完全一致。
参考文献
本定义所依据的一手文献、同行评审文献和存档资料。
Fast Inference from Transformers via Speculative Decoding
词典与百科条目
- Hugging Face — Assisted generation (speculative decoding)
- Wikipedia — Speculative decoding
引用本条目
MultipleChat.《推测解码（Speculative Decoding）》. MultipleChat AI 与 LLM 术语表，2026. https://multiple.chat/ai-glossary/speculative-decoding