レイテンシ

LLM システムのレイテンシは、通常「最初のトークンが出力されるまでの時間」と「出力トークン1つあたりの時間」に分けて考えます。アテンションの計算コストはコンテキストの量に応じて増えるため、どちらもモデルサイズと系列長に比例して大きくなります。Tay ら（2022）のサーベイでは、この問題を緩和するために開発された効率化手法が体系的にまとめられています。

レイテンシを削減する手法には、スパース化（Mixture of Experts）、量子化、キャッシュ、ストリーミングなどがあります。いずれも精度、メモリ、複雑さのいずれかを多少犠牲にして速度を得るものです。