推理引擎到底是什么？——Charles Frye, Modal

Charles Frye 以博物馆标牌生成器流量激增为例，从推理仪表盘解读首 token 等待变长、后续 token 变慢的症状，并演示增加副本如何缓解排队。他追踪一个请求经过服务器 IO、tokenization、调度、模型执行和 detokenization 的全过程，以 SGLang 和 vLLM 为参照，指出调度器虽计算量远小于模型执行，却可能成为瓶颈。聊天机器人、后台 agent 和文档处理对这套机制的需求不同，延迟预算、输入输出长度和前缀复用共同影响部署。随后他展开引擎内部的性能技术：KV 缓存复用已计算的工作，缓存容量与布局决定请求流转效率，CUDA graphs 减少重复开销。

AI推荐理由 以博物馆标牌生成器流量激增为例，讲解推理引擎从请求进入服务器 IO、tokenization、调度、模型执行到 detokenization 的完整链路，并以 SGLang 和 vLLM 为参照，指出调度器虽计算量小却可能成为瓶颈；还涉及 KV 缓存复用、缓存容量与布局、CUDA graphs 等性能技术。内容具体、面向开发者，对理解推理部署和延迟预算有实际价值，但为会议演讲转述，缺少可验证的基准数据。