大模型
dev.to ·
@Ahmed Mahmoud
为什么我的 LLM 功能成本超预期:关于 prompt 缓存、缓存断点和一个毁掉所有命中的时间戳的实战笔记
作者复盘 LLM 功能成本异常的原因:prompt 缓存只有在缓存前缀逐字节一致时才能省钱,system prompt 中一个插值时间戳就足以让每次调用变成缓存写入而非读取。三个修复措施是:请求按静态优先排序(tools、system、messages),把 cache_control 断点放在稳定区末尾,并从每次响应中读取 cache_read_input_tokens 而不是假设缓存生效。文中说明 Anthropic Messages API 的缓存按内容块选择性开启,最多四个断点,缓存读取按基础输入价格的 0.1 倍计费,五分钟缓存写入按 1.25 倍计费。
AI推荐理由 来自开发者的一手成本排查经验,给出可操作结论:缓存前缀必须逐字节一致,system prompt 中插入时间戳会让每次调用变成缓存写入;修复手段包括静态内容前置排序、把 cache_control 断点放在稳定区末尾、从响应中读取 cache_read_input_tokens 验证命中。涉及 Anthropic Messages API 的具体计费倍率,对 LLM 应用开发者有直接参考价值。
78
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。