TreinamentoEficiência Atualizado em 2026

Destilação de conhecimento

Definição

Treinar um modelo “aluno” menor para imitar um “professor” maior, transferindo grande parte da capacidade dele para um modelo mais barato e mais rápido.

Hinton et al. (2015) mostraram que um modelo compacto pode ser treinado com as saídas probabilísticas “suaves” de um modelo maior ou de um ensemble, aprendendo com a distribuição completa do professor, e não apenas com rótulos rígidos. O aluno captura grande parte do comportamento do professor com uma fração do tamanho e do custo.

A destilação é uma forma padrão de disponibilizar versões pequenas e rápidas de modelos grandes em implantações sensíveis a latência ou custo.

Referências

Fontes primárias, revisadas por pares e de arquivo para esta definição.

Distilling the Knowledge in a Neural Network
Hinton, G., Vinyals, O., & Dean, J. (2015). NeurIPS 2014 Deep Learning Workshop (arXiv preprint).

Verbetes de dicionários e enciclopédias

Cite este verbete

MultipleChat. “Destilação de conhecimento.” Glossário de IA e LLM do MultipleChat, 2026. https://multiple.chat/ai-glossary/distillation

Termos relacionados

Veja isso na prática

Execute o mesmo prompt no ChatGPT, Claude, Gemini, Grok e Perplexity lado a lado — com seus próprios arquivos como contexto e respostas que você pode comparar entre si.

Experimente o MultipleChat grátis

Continue aprendendo

Ver planos pagos