EntrenamientoEficiencia Actualizado en 2026

Destilación de conocimiento

Definición

Entrenar un modelo «alumno» más pequeño para que imite a un «profesor» más grande y transferir gran parte de su capacidad a un modelo más barato y rápido.

Hinton et al. (2015) demostraron que un modelo compacto puede entrenarse con las salidas de probabilidad suaves de un modelo o conjunto más grande, aprendiendo de la distribución completa del profesor y no solo de etiquetas rígidas. El alumno captura gran parte del comportamiento del profesor con una fracción del tamaño y del coste.

La destilación es una forma habitual de lanzar versiones pequeñas y rápidas de grandes modelos para despliegues sensibles a la latencia o al coste.

Referencias

Fuentes primarias, revisadas por pares y de archivo para esta definición.

Distilling the Knowledge in a Neural Network
Hinton, G., Vinyals, O., & Dean, J. (2015). NeurIPS 2014 Deep Learning Workshop (arXiv preprint).

Entradas de diccionarios y enciclopedias

Cita esta entrada

MultipleChat. «Destilación de conocimiento». Glosario de IA y LLM de MultipleChat, 2026. https://multiple.chat/ai-glossary/distillation

Términos relacionados

Míralo en la práctica

Ejecuta el mismo prompt en ChatGPT, Claude, Gemini, Grok y Perplexity en paralelo, con tus propios archivos como contexto y respuestas que puedes contrastar.

Prueba MultipleChat gratis

Sigue aprendiendo

Ver planes de pago