Die Latenz eines LLM-Systems wird meist in Time-to-First-Token und Time-per-Output-Token aufgeteilt. Beide wachsen mit der Modellgröße und der Sequenzlänge, weil der Aufwand für Attention mit der Menge an Kontext steigt; die Übersichtsarbeit von Tay et al. (2022) katalogisiert die Effizienztechniken, die entwickelt wurden, um dies abzumildern.
Zu den Ansätzen, die die Latenz verringern, gehören Sparsity (Mixture of Experts), Quantisierung, Caching und Streaming – jeder erkauft Geschwindigkeit mit etwas Genauigkeit, mehr Speicherbedarf oder höherer Komplexität.