最新资讯
bloomberg.com 台积电据报考虑生产先进 AI 存储芯片 www.infoq.com Yelp 为 AI Assistant 融合原生与服务器驱动 UI computerworld.com 英国监管机构:企业须为自家 AI 代理的错误负责 siliconangle.com Atomicwork 推出面向企业 IT 与安全的认证 AI 同事市场 computerworld.com OpenAI 收购小型软件公司以改进 Codex bdtechtalks.com Next-Concept Modeling 如何重新思考 AI 文本生成 computerworld.com Box 发布 Architect:用自然语言构建业务流程工作流 techrepublic.com Perplexity 推出 Teammates:每月 200 美元的 AI Agent 如何工作 the-decoder.com METR 称 Anthropic 或已在 7 月越过自身 AI 加速预警阈值 towardsdatascience.com 用 Ollama 和 Python 构建你的第一个多工具 AI Agent the-decoder.com Thinking Machines 的 Inkling 2 Small 称霸西方开放权重模型 dev.to 为 CI/CD 构建 AI 质量门禁
多元动态
登录 注册
大模型 dev.to · @Ahmed Mahmoud

为什么我的 LLM 功能成本超预期:关于 prompt 缓存、缓存断点和一个毁掉所有命中的时间戳的实战笔记

原文 我的收藏

作者复盘 LLM 功能成本异常的原因:prompt 缓存只有在缓存前缀逐字节一致时才能省钱,system prompt 中一个插值时间戳就足以让每次调用变成缓存写入而非读取。三个修复措施是:请求按静态优先排序(tools、system、messages),把 cache_control 断点放在稳定区末尾,并从每次响应中读取 cache_read_input_tokens 而不是假设缓存生效。文中说明 Anthropic Messages API 的缓存按内容块选择性开启,最多四个断点,缓存读取按基础输入价格的 0.1 倍计费,五分钟缓存写入按 1.25 倍计费。

AI推荐理由 来自开发者的一手成本排查经验,给出可操作结论:缓存前缀必须逐字节一致,system prompt 中插入时间戳会让每次调用变成缓存写入;修复手段包括静态内容前置排序、把 cache_control 断点放在稳定区末尾、从响应中读取 cache_read_input_tokens 验证命中。涉及 Anthropic Messages API 的具体计费倍率,对 LLM 应用开发者有直接参考价值。

78

正文

当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。

来源报道 · 1 篇 · 以下链接均前往原始媒体

← 返回精选动态 原文

更多内容