TrainingEffizienz Aktualisiert 2026

Wissensdestillation (Knowledge Distillation)

Definition

Ein kleineres „Schüler“-Modell wird darauf trainiert, einen größeren „Lehrer“ nachzuahmen, und übernimmt so einen Großteil seiner Fähigkeiten in einem günstigeren, schnelleren Modell.

Hinton et al. (2015) zeigten, dass sich ein kompaktes Modell mit den weichen Wahrscheinlichkeitsausgaben eines größeren Modells oder Ensembles trainieren lässt – es lernt also aus der vollständigen Verteilung des Lehrers statt nur aus harten Labels. Der Schüler übernimmt einen Großteil des Verhaltens des Lehrers bei einem Bruchteil von Größe und Kosten.

Destillation ist ein gängiger Weg, kleine, schnelle Versionen großer Modelle für latenz- oder kostensensible Einsätze bereitzustellen.

Literatur

Primäre, begutachtete und archivierte Quellen für diese Definition.

Distilling the Knowledge in a Neural Network
Hinton, G., Vinyals, O., & Dean, J. (2015). NeurIPS 2014 Deep Learning Workshop (arXiv preprint).

Wörterbuch- und Lexikoneinträge

Diesen Eintrag zitieren

MultipleChat. „Wissensdestillation.“ MultipleChat KI- & LLM-Glossar, 2026. https://multiple.chat/ai-glossary/distillation

Verwandte Begriffe

So sieht das in der Praxis aus

Führen Sie denselben Prompt in ChatGPT, Claude, Gemini, Grok und Perplexity nebeneinander aus – mit Ihren eigenen Dateien als Kontext und Antworten, die Sie gegenprüfen können.

MultipleChat kostenlos testen

Mehr erfahren

Kostenpflichtige Tarife ansehen