Dans un système LLM, la latence se décompose généralement en temps jusqu’au premier token et en temps par token généré. Les deux augmentent avec la taille du modèle et la longueur de la séquence, car le coût de l’attention croît avec la quantité de contexte ; l’état de l’art de Tay et al. (2022) recense les techniques d’efficacité mises au point pour atténuer ce problème.
Parmi les approches qui réduisent la latence figurent la parcimonie (Mixture of Experts), la quantification, la mise en cache et le streaming, chacune sacrifiant un peu de précision, de mémoire ou de simplicité au profit de la vitesse.