Hinton 외(2015)는 작은 모델을 더 큰 모델이나 앙상블의 소프트 확률 출력으로 학습시킬 수 있음을 보여 주었습니다. 학생 모델은 단순한 하드 레이블이 아니라 교사 모델의 전체 확률 분포로부터 배우며, 훨씬 작은 크기와 비용으로 교사의 동작 상당 부분을 재현합니다.
지식 증류는 지연 시간이나 비용에 민감한 환경에 배포할 수 있도록 대형 모델의 작고 빠른 버전을 만드는 표준 방법입니다.
학습효율성
2026년 업데이트
지식 증류(Knowledge Distillation)
정의
더 작은 ‘학생’ 모델이 더 큰 ‘교사’ 모델을 모방하도록 학습시켜, 교사의 능력 상당 부분을 더 저렴하고 빠른 모델로 옮기는 기법입니다.
참고문헌
이 정의의 근거가 된 1차 자료, 동료 심사 자료 및 기록 자료입니다.
Distilling the Knowledge in a Neural Network
사전 및 백과사전 항목
- Wikipedia — Knowledge distillation
- IBM — Think / Topics — What is knowledge distillation?
이 항목 인용하기
MultipleChat. “지식 증류(Knowledge Distillation).” MultipleChat AI·LLM 용어집, 2026. https://multiple.chat/ai-glossary/distillation