Kaplan et al. (2020) ont constaté que la perte d’un modèle de langage diminue selon une loi de puissance régulière en fonction de la taille du modèle, de la taille du jeu de données et de la puissance de calcul, ce qui permet aux chercheurs de prévoir les performances avant l’entraînement. Hoffmann et al. (2022), dans l’article dit « Chinchilla », ont affiné ce résultat en montrant que la plupart des grands modèles étaient sous-entraînés et que, pour un budget de calcul donné, le nombre de paramètres et le nombre de tokens d’entraînement devaient croître à peu près au même rythme.
Les lois d’échelle expliquent pourquoi le domaine s’est lancé dans des modèles et des jeux de données toujours plus grands, et comment arbitrer entre les deux.