大模型
dev.to ·
@Shivang Bhatnagar
缓存实测:笔记本上启动快 10 倍,Claude 账单却更高
作者用同一 RAG 流水线(基于 SQuAD 评测)对比 MacBook Air 上的本地 4B 模型与 Claude Sonnet 5.5,测试精确匹配、语义、检索和提示前缀四类缓存。结果:本地端检索缓存与提示缓存配合时首 token 从 3–4 秒降至 0.3 秒;Claude 端提示缓存使账单上升 18–25%,通过刻意重复提示可对同段落问题降低约 23% 成本。作者同时警告相似度缓存可能自信地返回错误答案。
AI推荐理由 作者在同一 RAG 流水线上对比本地 4B 模型与 Claude Sonnet 5.5,实测精确匹配、语义、检索和提示(前缀)四类缓存,并给出具体数据:本地首 token 从 3–4 秒降至 0.3 秒,Claude 提示缓存使账单上升 18–25%,刻意重复提示后同段落问题便宜 23%。对 LLM 应用成本与延迟优化有直接参考价值;但为个人博客实测,样本与可复现性有限,且相似度缓存可能自信地给出错误答案。
72
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。