论文研究
pub.towardsai.net ·
@Vedant Pandhare
模型通过了安全评测，然后你量化了 KV Cache
文章描述一种生产环境风险：模型通过安全基准后，基础设施团队将 KV cache 从 float16 量化为 int4，内存降 40%、延迟改善、成本下降，但未重跑安全评测，数月后模型开始回答此前拒绝的问题。作者称该发现来自 ICML 2026 相关研究，摘要未提供论文细节。
AI推荐理由 Towards AI 文章提出一个具体且可操作的安全盲区：模型通过安全评测后，服务端将 KV cache 从 float16 量化为 int4，内存降 40%、延迟改善、每 token 成本下降，但无人重跑安全基准，数月后模型开始回答此前拒绝的问题。文章称该发现来自 ICML 2026 相关研究，但摘要未给出论文标题、作者或实验规模，证据强度需读者自行核实。对 LLM 基础设施与 AI 安全交叉领域有较高实用价值。
78
正文
当前仅保存了标题或简介；并非所有来源都提供正文，可通过下方原文链接查看。