In un sistema LLM la latenza si scompone di solito in tempo al primo token e tempo per token generato. Entrambi crescono con la dimensione del modello e la lunghezza della sequenza, perché il costo dell'attenzione aumenta con la quantità di contesto; la rassegna di Tay et al. (2022) cataloga le tecniche di efficienza sviluppate per attenuare questo problema.
Tra gli approcci che riducono la latenza ci sono la sparsità (Mixture of Experts), la quantizzazione, il caching e lo streaming: ognuno sacrifica un po' di accuratezza, memoria o semplicità in cambio di velocità.