Hinton et al. (2015) hanno dimostrato che un modello compatto può essere addestrato sulle probabilità "morbide" prodotte da un modello più grande o da un ensemble, imparando dall'intera distribuzione dell'insegnante invece che dalle sole etichette rigide. Lo studente cattura gran parte del comportamento dell'insegnante con una frazione delle dimensioni e del costo.
La distillazione è un metodo standard per distribuire versioni piccole e veloci di modelli di grandi dimensioni quando latenza o costi sono critici.