Hinton 等人（2015）证明，可以用较大模型或模型集成输出的软概率来训练一个紧凑模型，让它学习教师模型的完整概率分布，而不仅仅是硬标签。学生模型能以极小的规模和成本复现教师模型的大部分行为。
在对延迟或成本敏感的部署场景中，蒸馏是推出大模型小型快速版本的标准做法。
训练效率
2026 年更新
知识蒸馏（Knowledge Distillation）
定义
训练一个较小的“学生”模型去模仿较大的“教师”模型，把后者的大部分能力迁移到更便宜、更快的模型中。
参考文献
本定义所依据的一手文献、同行评审文献和存档资料。
Distilling the Knowledge in a Neural Network
词典与百科条目
- Wikipedia — Knowledge distillation
- IBM — Think / Topics — What is knowledge distillation?
引用本条目
MultipleChat.《知识蒸馏（Knowledge Distillation）》. MultipleChat AI 与 LLM 术语表，2026. https://multiple.chat/ai-glossary/distillation