最新资讯
computerworld.com Box 发布 Architect:用自然语言构建业务流程工作流 the-decoder.com METR 称 Anthropic 或已在 7 月越过自身 AI 加速预警阈值 towardsdatascience.com 用 Ollama 和 Python 构建你的第一个多工具 AI Agent the-decoder.com Thinking Machines 的 Inkling 2 Small 称霸西方开放权重模型 dev.to 为 CI/CD 构建 AI 质量门禁 dev.to Kakao 发布面向 AI Agent 的决策模型 Kanana-2-v-decide computerworld.com Microsoft 对 Copilot Chat 企业用户扩大未公开的使用限制 pub.towardsai.net Google 发布 Gemini 4 Carbon:主打网络安全能力的前沿模型 gradientflow.com METR 研究:AI 正在加速构建 AI 的团队本身 www.infoq.com GitLab 19.5 将 Agentic 开发纳入 DevOps 平台的治理体系 aiacceleratorinstitute.com 研究:AI Agent 的复杂流程编排可能反而是问题所在 pub.towardsai.net MongoDB 推出 Vercel AI SDK 集成:为 AI 应用提供持久记忆
多元动态
登录 注册
大模型 dev.to · @Shivang Bhatnagar

缓存实测:笔记本上启动快 10 倍,Claude 账单却更高

原文 我的收藏

作者用同一 RAG 流水线(基于 SQuAD 评测)对比 MacBook Air 上的本地 4B 模型与 Claude Sonnet 5.5,测试精确匹配、语义、检索和提示前缀四类缓存。结果:本地端检索缓存与提示缓存配合时首 token 从 3–4 秒降至 0.3 秒;Claude 端提示缓存使账单上升 18–25%,通过刻意重复提示可对同段落问题降低约 23% 成本。作者同时警告相似度缓存可能自信地返回错误答案。

AI推荐理由 作者在同一 RAG 流水线上对比本地 4B 模型与 Claude Sonnet 5.5,实测精确匹配、语义、检索和提示(前缀)四类缓存,并给出具体数据:本地首 token 从 3–4 秒降至 0.3 秒,Claude 提示缓存使账单上升 18–25%,刻意重复提示后同段落问题便宜 23%。对 LLM 应用成本与延迟优化有直接参考价值;但为个人博客实测,样本与可复现性有限,且相似度缓存可能自信地给出错误答案。

72

正文

当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。

来源报道 · 1 篇 · 以下链接均前往原始媒体

← 返回精选动态 原文

更多内容