Leviathan et al. (2023) führten Speculative Decoding ein: Ein kleines, günstiges „Entwurfsmodell“ schlägt mehrere Tokens vor, und das große Zielmodell prüft sie alle in einem einzigen parallelen Durchlauf und übernimmt das längste korrekte Präfix. Da die Überprüfung parallel erfolgt, ergibt sich eine 2- bis 3-mal schnellere Generierung – mit nachweislich derselben Ausgabeverteilung wie beim großen Modell allein.
Es ist heute ein Standardverfahren, um die Latenz beim Betrieb großer Modelle zu senken, ohne die Antworten zu verändern, die Nutzer sehen.