让 Agent 掌控自己的推理：Akamai 工程师的 vLLM 性能调优 workshop

Akamai 的 Du'an Lightfoot 与 Khaja Omer 以 speculative decoding 反而把 demo 模型从约 58 tokens/s 降到 16 的失败优化为例，说明更快的推理配置必须针对实际模型、硬件和工作负载测量。workshop 先讨论使用托管 API 还是专用 GPU 自建推理，再提供包含 Jupyter notebook 和 vLLM endpoint 的 Kubernetes namespace，以 Qwen 为示例模型，观察 agent 的 prompt、响应和重复工具调用如何消耗延迟与内存。内容涵盖 streaming 测量、模型配置、内存预算、prefill、decode 与 KV caching，notebook 区分单请求生成速度与聚合吞吐，考察冷热 prefix，并对比 dense 模型与 MoE；随后将 serving 部署切换为 FP8 模型并重复负载测试。

AI推荐理由 内容来自 AI Engineer 频道的技术 workshop，具体给出 speculative decoding 在 demo 模型上从约 58 tokens/s 降到 16 的反例，并围绕 hosted API 与专用 GPU 的取舍、vLLM、KV caching、prefill/decode、dense 与 MoE 对比展开，信息密度较高且可操作。局限是仅为会议 workshop 摘要，未提供完整实测数据或可复现结果，也未说明具体硬件与模型版本。