量子化では、高精度（例：16ビット）の重みを、より小さな整数表現に置き換えます。Dettmers ら（2022）は LLM.int8() で、まれに現れる大きな値の特徴量を慎重に扱うことで、8ビット行列演算を使って Transformer の推論を半分のメモリで実行しつつ、フル精度と同等の精度を維持できることを示しました。
量子化のおかげで、大規模モデルを小型の GPU や一般向けのハードウェアでも動かせるようになります。また、LoRA のようなアダプター手法とも自然に組み合わせられます。
効率化インフラ
2026年更新
量子化
定義
モデルの重みを低い数値精度で保持し、メモリ使用量を削減して推論を高速化する手法。通常、品質の低下はわずかです。
参考文献
この定義の根拠となる一次資料、査読済み資料、アーカイブ資料です。
LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale
辞書・百科事典の項目
- Wikipedia — Quantization (signal processing) — neural networks
- Hugging Face — Quantization
この項目を引用する
MultipleChat「量子化」MultipleChat AI・LLM 用語集、2026年。https://multiple.chat/ai-glossary/quantization