스케일링 법칙(Scaling Laws)

Kaplan 외(2020)는 언어 모델의 손실이 모델 크기, 데이터셋 크기, 연산량에 대해 매끄러운 거듭제곱 법칙을 따라 감소한다는 사실을 발견했고, 덕분에 연구자들은 학습 전에 성능을 예측할 수 있게 되었습니다. "Chinchilla" 논문으로 알려진 Hoffmann 외(2022)는 이를 다듬어, 대부분의 대형 모델이 충분히 학습되지 않았으며 주어진 연산 예산에서는 파라미터 수와 학습 토큰 수를 거의 같은 비율로 늘려야 한다는 것을 보여 주었습니다.

스케일링 법칙은 이 분야가 왜 점점 더 큰 모델과 더 큰 데이터셋을 추구해 왔는지, 그리고 둘 사이에 예산을 어떻게 배분해야 하는지를 설명해 줍니다.