垂直扩展：从 MVP 到万亿参数工作负载的推理——CoreWeave 的 Sitanshu Gupta

CoreWeave 的 Sitanshu Gupta 分享推理平台设计经验：在 agentic 请求中，约 80%–90% 的输入与前一请求相同，而 prefill 是推理栈中成本最高的环节，这解释了缓存输入 token 定价远低于新 token 的原因。平台需在不分叉的前提下支持两种消费模式——serverless（按 token 计费，含 provisioned throughput 档）与 dedicated（按 GPU 小时计费，置于私有网关后，客户自选引擎并决定 prefill 与 decode 是否分离）。底层按时间拼合四类工作负载；agentic 与 chat 表面相似（长输入短输出），但 agentic 轮次之间无人阅读。

AI推荐理由 CoreWeave 平台负责人 Sitanshu Gupta 的演讲，给出具体工程细节：agentic 请求中 80–90% 输入与上一请求相同，prefill 是推理栈最昂贵环节，因此缓存输入 token 定价远低于新 token；平台需同时支持 serverless（按 token 计费、含 provisioned throughput 档）与 dedicated（按 GPU 小时计费、私有网关、客户自选引擎并决定 prefill/decode 是否分离）两种消费模式，并按时间拼合四类工作负载。这些是来自一线平台运营者的可验证架构与定价逻辑，对推理成本优化有参考价值。局限：为会议演讲转述，无独立数据验证，摘要截断，未给出具体性能或成本数字。