Hinton et al. (2015) zeigten, dass sich ein kompaktes Modell mit den weichen Wahrscheinlichkeitsausgaben eines größeren Modells oder Ensembles trainieren lässt – es lernt also aus der vollständigen Verteilung des Lehrers statt nur aus harten Labels. Der Schüler übernimmt einen Großteil des Verhaltens des Lehrers bei einem Bruchteil von Größe und Kosten.
Destillation ist ein gängiger Weg, kleine, schnelle Versionen großer Modelle für latenz- oder kostensensible Einsätze bereitzustellen.