大模型
dev.to ·
@cognitalk
DeepSeek 开源推理引擎 DeepInfer：强引擎但非完整服务
该视频解读指出，DeepSeek 开源的 DeepInfer 是离线推理引擎，不是托管 API 或模型本身，采用 Apache 2.0 协议，主要支持 Nvidia SM100 GPU 和华为 Ascend 950 NPU，并针对 DeepSeek V4.1 Flash 模型优化。技术亮点包括专家并行、D-Spark 投机解码、滑动窗口缓存恢复、确定性模式和结构化输出；同时指出若要搭建商业 API 服务仍缺少关键组件。以上为第三方视频转述，需以官方文档核实。
AI推荐理由 内容是对 DeepSeek 开源推理引擎 DeepInfer 的视频解读，给出了较具体的定位与技术细节：离线推理引擎而非托管服务、Apache 2.0 协议、面向 Nvidia SM100 与华为 Ascend 950、专家并行、D-Spark 投机解码、滑动窗口缓存恢复和结构化输出，并指出生产化缺失的组件。对关注推理引擎与算力适配的开发者有参考价值；但信息来自第三方视频转述，非官方文档，具体数字与支持范围需以官方 README 核实。
64
正文
http://www.youtube.com/watch?v=qG0Q-Wfc0Yw
这段视频（来自频道 Prompt Engineer 48）主要讲解了 DeepSeek 开源的推理引擎 DeepInfer [00:10]。视频核心梳理了 DeepInfer 到底开源了什么、缺少了什么以及它能用来做什么。
以下是详细内容拆解：
1. 核心定位：这是一个“离线推理引擎”，而不是“完整托管服务”
官方声明：DeepInfer 在 Readme 的第一句话就明确指出，它是一个离线推理引擎（offline inference engine），既不是托管 API，也不是模型本身 [00:17]。
开源协议与硬件支持：采用 Apache 2.0 开源协议，默认模型权重采用 MIT 协议 [00:16]。它主要支持 Nvidia SM100 GPU 以及 Huawei Ascend 950 NPU [00:18]，并且专为 DeepSeek V4.1 Flash 模型打造 [00:23]。
硬件门槛：它面向的是拥有企业级算力（如数据中心硬件）的用户，而不是消费级显卡或笔记本电脑 [01:58]。
2. 核心架构与技术亮点
视频提到了该引擎内部采用的一些关键技术：
专家并行（Expert Parallelism / Wide EP）：将专家分布在 64 到 128 个 GPU 上，减小单个 GPU 的读取压力，提高吞吐量 [02:19]。
D-Spark 投机解码（Speculative Decoding）：通过引入置信度头（confidence head），在单次传递中对多个草稿进行验证，提升 4%~7% 的吞吐量 [02:41]。
滑动窗口缓存恢复（Sliding Window Cache Replay）：当缓存丢失时，引擎只重放最近的尾部（约 140 个token），在计算开销和精确度之间取得平衡 [02:58]。
确定性模式与结构化输出：支持在 Nvidia 上使用确定性模式，并支持带正则表达式、JSON Schema 和 EBNF 的结构化输出 [01:35]。
3. 三个“缺失的拼图”（生产环境中缺少的关键组件）
虽然 DeepSeek 开放了底层引擎，但如果要搭建一个真正的线上商业 API 服务，还缺少以下三块内容 [00:26]：
KV 缓存系统：生产环境中需要一个专门的高性能存储集群（如大约 100 PB 的 SSD 集群）来处理提示词前缀复用，但这并未在本次开源中提供 [04:22]。
分离架构：没有包含将“预填充（Prefill）”和“解码（Decode）”拆分到不同机器上的完整方案 [04:36]。
副本负载均衡：缺少集群级别的多副本负载均衡系统 [04:39]。
4. 总结与建议
适合谁：如果你手头有 SM100 或 Ascend 950 硬件，想要研究 DeepSeek 的底层serving（服务化）技巧，并且准备自己搭建上层的业务服务层，这是一个非常宝贵的开源工具 [05:36]。
不适合谁：如果你只是想下周就直接上线一个 API，或者使用的是消费级显卡，那么像 vLLM 或 SGlang 依然是风险更低、更合适的选择 [05:43]。