你的 LLM 在测试中很快，为什么上生产就变慢？

文章解释 LLM 推理的工程机制：KV 缓存、连续批处理、GPU 显存、量化、投机解码，以及真正重要的延迟指标。开发阶段一次只测一个请求，显存充足、无排队、无竞争；生产环境中单个推理服务器要在同一块 GPU 的有限显存上同时处理差异极大的请求，例如 500 token 提问、20000 token 文档和需要生成 2000 token 的回答，服务器必须决定请求调度顺序与显存分配，这正是同一模型同一提示词在生产中变慢的常见原因。

AI推荐理由 面向 LLM 推理部署的工程科普，明确列出 KV caching、continuous batching、GPU 显存、量化、speculative decoding 及延迟指标等具体技术点，并给出开发单请求与生产多请求并发差异这一具体场景，对做推理服务和容量规划有参考价值；但属于 Medium 平台上的经验性讲解，正文片段未提供实测数据、基准或可验证证据，深度和原创性有限，故未给高分。