破滅的忘却

ネットワークを新しいタスクで学習させると、勾配による更新が以前の知識を保持していた重みを上書きし、それまでのスキルが失われてしまうことがあります。これが破滅的忘却です。Kirkpatrick ら（2017）は Elastic Weight Consolidation（EWC）でこの問題に取り組みました。過去のタスクにとって重要な重みほど学習を遅くすることで、モデルが新しい能力を身につけながら従来の能力も維持できるようにする手法です。

これは継続学習において、また汎用的な能力を損なわずにモデルをファインチューニングするうえで、中心的な障害となっています。