Kaplan et al. (2020) observaron que la pérdida de un modelo de lenguaje disminuye siguiendo una ley de potencias suave en función del tamaño del modelo, del tamaño del conjunto de datos y del cómputo, lo que permite a los investigadores prever el rendimiento antes de entrenar. Hoffmann et al. (2022), el artículo «Chinchilla», afinaron este resultado y mostraron que la mayoría de los grandes modelos estaban infraentrenados y que, para un presupuesto de cómputo dado, los parámetros y los tokens de entrenamiento deberían escalar aproximadamente a la par.
Las leyes de escalado explican por qué el sector ha perseguido modelos cada vez más grandes y conjuntos de datos cada vez mayores, y cómo repartir el presupuesto entre ambos.