大模型
arxiv.org ·
@Betelbuddy
Infinite-Parameter LLM:从实时数据生成并适配权重
该 arXiv 预印本提出 Infinite-Parameter LLM 架构,借鉴 MoE 思路,用紧凑超网络将运行时提供的数据转化为对共享基网络的低秩调制,使前馈权重由实时数据生成而非存于固定参数库。与以往只读一次上下文即冻结的权重生成器不同,该方法对生成器隐码维护贝叶斯信念并在线更新,有效权重随会话推进重新推导,存储占用固定而可编译权重近乎无限。作者称把运行时知识写入权重而非提示词可摊薄计算、释放上下文窗口、跨轮次持久并可能优于 in-context 使用,并给出针对 in-context learning 与检索的评测协议。目前仅见摘要与协议,尚无实验结果。
AI推荐理由 arXiv 预印本,作者提出 Infinite-Parameter LLM 架构:用紧凑超网络把运行时数据转成对共享基网络的低秩调制,使前馈权重由实时数据生成而非固定参数库;并对生成器隐码维护贝叶斯信念并在线更新,使有效权重随会话演化。论文给出与 in-context learning 和检索对比的评测协议。局限是仅有摘要与协议描述,尚无实验结果或代码,实际效果未验证。
72
正文
Infinite-Parameter LLMs: Generating and Adapting Weights from Live Data 👉 101 HN Points: https://news.ycombinator.com/item?id=49743483 原文地址: https://arxiv.org/abs/2609.18842