Hinton ら（2015）は、大きなモデルやアンサンブルが出力するソフトな確率分布を使ってコンパクトなモデルを学習させられることを示しました。生徒モデルは正解ラベルだけでなく、教師モデルの分布全体から学びます。その結果、教師のサイズとコストのごく一部で、その振る舞いの多くを再現できます。
蒸留は、レイテンシーやコストを重視する環境向けに、大規模モデルの小型・高速版を提供する標準的な方法です。
学習効率化
2026年更新
知識蒸留
定義
小さな「生徒」モデルに大きな「教師」モデルを模倣させ、その能力の多くを、より安く高速なモデルに移す学習方法。
参考文献
この定義の根拠となる一次資料、査読済み資料、アーカイブ資料です。
Distilling the Knowledge in a Neural Network
辞書・百科事典の項目
- Wikipedia — Knowledge distillation
- IBM — Think / Topics — What is knowledge distillation?
この項目を引用する
MultipleChat「知識蒸留」MultipleChat AI・LLM 用語集、2026年。https://multiple.chat/ai-glossary/distillation