大模型
pub.towardsai.net ·
@TechSilk
恒定内存推理:4B 开源模型将 KV Cache 固定为 72 MiB
文章介绍 2026 年 10 月 19 日开源的 EdgeRock-4B,由岩芯矩阵(岩山科技旗下)联合港科大与 CMU 研究人员发布。该模型采用“Rock Memory Anchors”,使每序列注意力 KV cache 固定为 72 MiB,不随上下文从 4K 增至 256K 而变化;作者称在 256K 下较其转换来源 Qwen3.5-4B 减少 99.1%。文章指出该发布获中文科技媒体广泛报道,但当时未见英文媒体报道,仅有模型卡与 arXiv 报告可查。
AI推荐理由 介绍 Rock Matrix 联合港科大、CMU 开源的 EdgeRock-4B,称其将每序列 KV cache 固定为 72 MiB,256K 上下文下较基座 Qwen3.5-4B 减少 99.1%,对长推理与 Agent 长轨迹服务的内存成本有直接价值;但数据来自作者转述模型卡与 arXiv 报告,尚无英文媒体报道,需以原始材料复核。
78
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。