파국적 망각(Catastrophic Forgetting)

신경망을 새로운 작업으로 학습시키면 기울기 업데이트가 이전 지식을 담고 있던 가중치를 덮어써 기존 능력이 지워질 수 있는데, 이를 파국적 망각이라고 합니다. Kirkpatrick 외(2017)는 EWC(Elastic Weight Consolidation)로 이 문제에 대응했습니다. 과거 작업에 가장 중요한 가중치의 학습 속도를 늦춰, 모델이 새로운 능력을 익히면서도 기존 능력을 유지할 수 있게 한 것입니다.

이는 지속 학습, 그리고 범용 능력을 떨어뜨리지 않고 모델을 파인튜닝하는 데 있어 핵심적인 걸림돌입니다.