延迟（Latency）

LLM 系统的延迟通常分为首 token 延迟（time-to-first-token）和每个输出 token 的生成时间（time-per-output-token）。两者都会随模型规模和序列长度增长，因为注意力的计算开销随上下文量而增加；Tay 等人（2022）的综述系统梳理了为缓解这一问题而发展出的各类效率优化技术。

降低延迟的方法包括稀疏化（混合专家模型）、量化、缓存和流式输出——每种方法都以牺牲一定的准确性、内存或复杂度为代价来换取速度。