缩放定律（Scaling Laws）

Kaplan 等人（2020）发现，语言模型的损失会随模型规模、数据集规模和算力的增加，按平滑的幂律下降——这让研究人员能在训练之前就预测模型性能。Hoffmann 等人（2022）的“Chinchilla”论文进一步完善了这一结论，指出大多数大模型训练不足，并且在给定的算力预算下，参数量和训练 token 数应大致同步增长。

缩放定律解释了为什么这个领域一直在追求越来越大的模型和越来越大的数据集，也说明了该如何在两者之间分配预算。