Leviathan et al. (2023) hanno introdotto la decodifica speculativa: un modello «bozza» piccolo ed economico propone diversi token, e il grande modello di destinazione li controlla tutti in un unico passaggio parallelo, accettando il prefisso corretto più lungo. Poiché la verifica avviene in parallelo, la generazione risulta da 2 a 3× più veloce, con una distribuzione dell'output dimostrabilmente identica a quella del solo modello grande.
Oggi è un metodo standard per ridurre la latenza nell'erogazione di modelli di grandi dimensioni senza cambiare le risposte che vedono gli utenti.