En un sistema LLM, la latencia suele dividirse en el tiempo hasta el primer token y el tiempo por token de salida. Ambos crecen con el tamaño del modelo y la longitud de la secuencia, porque el coste de la atención aumenta con la cantidad de contexto; el estudio de Tay et al. (2022) recopila las técnicas de eficiencia desarrolladas para mitigarlo.
Entre las técnicas que reducen la latencia están la dispersión (mezcla de expertos o MoE), la cuantización, el almacenamiento en caché y el streaming; cada una sacrifica algo de precisión, memoria o simplicidad a cambio de velocidad.