بيّن Hinton وزملاؤه (2015) أنه يمكن تدريب نموذج مُدمَج على مُخرجات الاحتمالات «الناعمة» لنموذج أكبر أو لمجموعة نماذج، فيتعلّم من التوزيع الكامل للمعلّم لا من التصنيفات الصارمة فحسب. ويلتقط الطالب جزءًا كبيرًا من سلوك المعلّم بجزء يسير من الحجم والتكلفة.
التقطير طريقة قياسية لإطلاق نسخ صغيرة وسريعة من النماذج الكبيرة لعمليات النشر الحسّاسة لزمن الاستجابة أو التكلفة.