Leviathan et al. (2023) apresentaram a decodificação especulativa: um modelo de “rascunho” pequeno e barato propõe vários tokens, e o modelo-alvo grande verifica todos eles em uma única passada paralela, aceitando o prefixo correto mais longo. Como a verificação é paralela, isso gera textos 2–3× mais rápido, com uma distribuição de saída comprovadamente igual à do modelo grande sozinho.
Hoje é uma forma padrão de reduzir a latência ao servir modelos grandes, sem alterar as respostas que os usuários veem.