Leviathan et al. (2023) ont introduit le décodage spéculatif : un petit modèle « brouillon » peu coûteux propose plusieurs tokens, que le grand modèle cible vérifie tous en une seule passe parallèle, en acceptant le plus long préfixe correct. La vérification étant parallèle, la génération est 2 à 3× plus rapide, avec une distribution de sortie dont on démontre qu’elle est identique à celle du grand modèle seul.
C’est désormais une méthode courante pour réduire la latence lors du déploiement de grands modèles, sans modifier les réponses que voient les utilisateurs.