开源模型在生产环境如何跑得快——Nebius 的 Sujee Maniyam 分享

Nebius Token Factory 产品营销负责人 Dylan Bristot 与开发者布道师 Sujee Maniyam 讲解开源 LLM 的生产部署。Dylan 讨论闭源 API 与自托管的取舍，以及推理→数据→后训练→部署的循环；Sujee 逐层介绍快速推理的优化手段，包括最新 NVIDIA 硬件上的 NVFP4、推理引擎选择、cache-aware routing、用自有流量训练 draft model 的投机解码、KV cache offload、prefill 与 decode 分离，以及量化甜点的寻找。

AI推荐理由 Nebius 的工程演讲，逐层拆解开源 LLM 生产推理优化：NVFP4、引擎选择、cache-aware routing、自定义 draft model 的投机解码、KV cache offload、prefill/decode 分离与量化取舍。属于可落地的工程经验分享，对做推理部署的开发者有直接参考价值；但为会议演讲转述，缺少可验证的基准数据与具体配置细节，且未提供实测效果。