Kaplan et al. (2020) hanno scoperto che la loss di un modello linguistico diminuisce secondo una regolare legge di potenza al crescere della dimensione del modello, del dataset e della potenza di calcolo, il che permette di prevedere le prestazioni prima dell'addestramento. Hoffmann et al. (2022), con il paper «Chinchilla», hanno affinato questo risultato, mostrando che la maggior parte dei grandi modelli era sottoaddestrata e che, a parità di budget di calcolo, parametri e token di addestramento dovrebbero crescere più o meno di pari passo.
Le leggi di scala spiegano perché il settore ha puntato su modelli e dataset sempre più grandi, e come ripartire il budget tra i due.