Hinton et al. (2015) ont montré qu’un modèle compact peut être entraîné sur les probabilités « souples » produites par un modèle plus grand ou un ensemble de modèles, en apprenant de la distribution complète de l’enseignant plutôt que de simples étiquettes binaires. L’élève reproduit une grande partie du comportement de l’enseignant pour une fraction de sa taille et de son coût.
La distillation est une méthode courante pour proposer des versions petites et rapides de grands modèles lorsque la latence ou le coût du déploiement sont critiques.