量化用更小的整数表示来替代高精度（例如 16 位）权重。Dettmers 等人（2022）通过 LLM.int8() 证明，只要妥善处理少见的高幅值特征，8 位矩阵乘法就能以一半的内存运行 Transformer 推理，同时保持全精度下的准确性。
正是量化让大模型能够在较小的 GPU 和消费级硬件上运行，它也能与 LoRA 等适配器方法自然搭配。
效率基础设施
2026 年更新
量化（Quantization）
定义
以更低的数值精度存储模型权重，从而减少内存占用并加快推理速度，通常质量损失很小。
参考文献
本定义所依据的一手文献、同行评审文献和存档资料。
LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale
词典与百科条目
- Wikipedia — Quantization (signal processing) — neural networks
- Hugging Face — Quantization
引用本条目
MultipleChat.《量化（Quantization）》. MultipleChat AI 与 LLM 术语表，2026. https://multiple.chat/ai-glossary/quantization