Em um sistema de LLM, a latência costuma ser dividida em tempo até o primeiro token e tempo por token de saída. Ambos crescem com o tamanho do modelo e o comprimento da sequência, porque o custo da atenção aumenta com a quantidade de contexto; o levantamento de Tay et al. (2022) cataloga as técnicas de eficiência desenvolvidas para atenuar esse problema.
Entre as abordagens que reduzem a latência estão a esparsidade (Mixture of Experts), a quantização, o cache e o streaming — cada uma troca um pouco de precisão, memória ou simplicidade por velocidade.