当网络在新任务上训练时,梯度更新可能会覆盖编码了早期知识的权重,从而抹去原有技能——这就是灾难性遗忘。Kirkpatrick 等人(2017)用弹性权重巩固(Elastic Weight Consolidation)来应对这一问题:放慢对过去任务最重要的那些权重的学习速度,让模型在学习新能力的同时保留旧能力。
它是持续学习的核心障碍,也是在不削弱模型通用能力的前提下进行微调的主要难题。
检测到异常活动,你的会话已被标记。
请确认你是真人后继续。
神经网络在新数据上训练时丢失先前已学会能力的倾向——这是持续更新模型时面临的一大挑战。
当网络在新任务上训练时,梯度更新可能会覆盖编码了早期知识的权重,从而抹去原有技能——这就是灾难性遗忘。Kirkpatrick 等人(2017)用弹性权重巩固(Elastic Weight Consolidation)来应对这一问题:放慢对过去任务最重要的那些权重的学习速度,让模型在学习新能力的同时保留旧能力。
它是持续学习的核心障碍,也是在不削弱模型通用能力的前提下进行微调的主要难题。
本定义所依据的一手文献、同行评审文献和存档资料。
将同一个提示词同时发给 ChatGPT、Claude、Gemini、Grok 和 Perplexity,并排对比——用你自己的文件作为上下文,得到可以相互核对的答案。
免费试用 MultipleChat了解更多