Kaplan et al. (2020) stellten fest, dass der Loss von Sprachmodellen gemäß einem glatten Potenzgesetz mit Modellgröße, Datensatzgröße und Rechenaufwand sinkt – so lässt sich die Leistung schon vor dem Training prognostizieren. Hoffmann et al. (2022), das „Chinchilla“-Paper, verfeinerten dies: Sie zeigten, dass die meisten großen Modelle untertrainiert waren und dass Parameter und Trainings-Tokens bei gegebenem Rechenbudget ungefähr gleichmäßig skaliert werden sollten.
Skalierungsgesetze erklären, warum das Fachgebiet immer größere Modelle und immer größere Datensätze verfolgt hat – und wie man das Budget zwischen beiden aufteilt.