训练基础概念 2026 年更新

灾难性遗忘(Catastrophic Forgetting)

定义

神经网络在新数据上训练时丢失先前已学会能力的倾向——这是持续更新模型时面临的一大挑战。

当网络在新任务上训练时,梯度更新可能会覆盖编码了早期知识的权重,从而抹去原有技能——这就是灾难性遗忘。Kirkpatrick 等人(2017)用弹性权重巩固(Elastic Weight Consolidation)来应对这一问题:放慢对过去任务最重要的那些权重的学习速度,让模型在学习新能力的同时保留旧能力。

它是持续学习的核心障碍,也是在不削弱模型通用能力的前提下进行微调的主要难题。

参考文献

本定义所依据的一手文献、同行评审文献和存档资料。

Overcoming catastrophic forgetting in neural networks
Kirkpatrick, J., Pascanu, R., Rabinowitz, N., Veness, J., Desjardins, G., et al. (2017). Proceedings of the National Academy of Sciences (PNAS), 114(13), 3521–3526.

词典与百科条目

引用本条目

MultipleChat.《灾难性遗忘(Catastrophic Forgetting)》. MultipleChat AI 与 LLM 术语表,2026. https://multiple.chat/ai-glossary/catastrophic-forgetting

相关术语

实际体验一下

将同一个提示词同时发给 ChatGPT、Claude、Gemini、Grok 和 Perplexity,并排对比——用你自己的文件作为上下文,得到可以相互核对的答案。

免费试用 MultipleChat

了解更多

查看付费方案