推理如何跟上我们对 token 的无限需求 — Cerebras 与 Gimlet Labs

Cerebras 的 Daniel Kim 与 Gimlet Labs 联合创始人 Michelle 讲解推理为何持续变快变便宜。Daniel 覆盖运行时层面：decode 为何受内存带宽限制、模型跨 GPU 切分、continuous batching、KV cache、paged attention、prompt caching 与 chunked prefill；Michelle 覆盖系统层面：prefill/decode 解耦、speculative decoding、attention/FFN 解耦、Gimlet 的多芯片云，以及用 agent 生成优化 kernel。

AI推荐理由 Cerebras 的 Daniel Kim 与 Gimlet Labs 联合创始人 Michelle 系统讲解推理加速：decode 为何受内存带宽限制、KV cache 规模、continuous batching、paged attention、prompt caching、chunked prefill，以及 prefill/decode、speculative、attention/FFN 解耦和多芯片云。内容技术密度高，但引用 Google 月 token 量从 480 万亿增至 3.2 千万亿等数据未在材料中给出出处。