Kaplan et al. (2020) descobriram que a perda (loss) dos modelos de linguagem cai segundo uma lei de potência suave em função do tamanho do modelo, do tamanho do conjunto de dados e da capacidade computacional — o que permite prever o desempenho antes do treinamento. Hoffmann et al. (2022), no artigo “Chinchilla”, refinaram essa conclusão, mostrando que a maioria dos grandes modelos estava subtreinada e que parâmetros e tokens de treinamento deveriam crescer de forma aproximadamente proporcional para um dado orçamento computacional.
As leis de escala explicam por que a área tem buscado modelos e conjuntos de dados cada vez maiores — e como distribuir o orçamento entre eles.