大模型
arxiv.org ·
@Wenjie Li
EngramEdit:通过条件记忆实现 LLM 的解耦式知识更新
论文针对条件记忆架构(如 DeepSeek Engram)提出 EngramEdit,用于在保持 Transformer 主干固定的前提下更新事实知识。方法先计算目标记忆表示,使模型在多种事实表达下预测更新后的内容,再联合更新共享 n-gram 嵌入以匹配这些目标,并加入惩罚项抑制对其他事实预测的意外改变。摘要未披露具体实验规模与效果指标。
AI推荐理由 提出 EngramEdit,在条件记忆架构(如 DeepSeek Engram)上实现解耦式事实知识更新:先计算目标记忆表示使模型在多种表达下预测更新后的事实,再联合更新共享 n-gram 嵌入并施加惩罚。对知识编辑与模型可维护性有直接价值,但摘要未给出实验规模与效果数据,需保留不确定性。
78
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。