Hinton et al. (2015) mostraram que um modelo compacto pode ser treinado com as saídas probabilísticas “suaves” de um modelo maior ou de um ensemble, aprendendo com a distribuição completa do professor, e não apenas com rótulos rígidos. O aluno captura grande parte do comportamento do professor com uma fração do tamanho e do custo.
A destilação é uma forma padrão de disponibilizar versões pequenas e rápidas de modelos grandes em implantações sensíveis a latência ou custo.