スケーリング則

Kaplan ら（2020）は、言語モデルの損失がモデルサイズ、データセットのサイズ、計算量に対して滑らかなべき乗則に従って減少することを発見しました。これにより、研究者は学習前に性能を予測できるようになりました。Hoffmann ら（2022）のいわゆる「Chinchilla」論文はこれを改良し、多くの大規模モデルが学習不足であったこと、そして一定の計算予算のもとではパラメータ数と学習トークン数をおおむね同じ比率で増やすべきであることを示しました。

スケーリング則は、この分野がなぜモデルとデータセットの大規模化を追求し続けてきたのか、そして両者の間でどう予算を配分すべきかを説明するものです。