Leviathan et al. (2023) presentaron la decodificación especulativa: un modelo «borrador» pequeño y barato propone varios tokens y el modelo grande de destino los comprueba todos en una única pasada en paralelo, aceptando el prefijo correcto más largo. Como la verificación es paralela, la generación es de 2 a 3× más rápida y, de forma demostrable, conserva la misma distribución de salida que el modelo grande por sí solo.
Hoy es una forma estándar de reducir la latencia al servir modelos grandes sin cambiar las respuestas que ven los usuarios.