Hinton et al. (2015) demostraron que un modelo compacto puede entrenarse con las salidas de probabilidad suaves de un modelo o conjunto más grande, aprendiendo de la distribución completa del profesor y no solo de etiquetas rígidas. El alumno captura gran parte del comportamiento del profesor con una fracción del tamaño y del coste.
La destilación es una forma habitual de lanzar versiones pequeñas y rápidas de grandes modelos para despliegues sensibles a la latencia o al coste.