算力商业
www.xiaoyuzhoufm.com ·
#776. 中国的模型真的只是靠蒸馏追赶吗？
该播客克隆a16z与AI研究员Nathan Lambert的对谈，讨论开放模型与闭源前沿实验室的竞争。Lambert认为中国实验室人才水平与美国相当，主要短板是算力；并指出公开研究尚不足以证明蒸馏是开放模型进步的主因，推理训练更依赖强化学习环境与高质量数据。他还提到Trillium计划公开训练工具与模型执行轨迹，以提升AI自动化研究的透明度，并认为社会对网络安全等风险的准备不足比能力曲线本身更值得担忧。
AI推荐理由 播客克隆a16z与Nathan Lambert的对谈，讨论开放模型能否追赶OpenAI与Anthropic，涉及算力差距、蒸馏在后训练中的实际作用、高质量数据与强化学习环境、以及AI自动化研究透明度等具体观点。嘉宾为AI研究员，内容有明确论点与限定条件，对理解开放模型竞争格局有实际价值；但属二手转述且为AI翻译，需注意表述准确性。
72
正文
📝 本期播客简介 本期我们克隆了：a16z · Can Open Models Keep Up With OpenAI and Anthropic? | Nathan Lambert 原内容更新时间：2026-10-14 中国的模型实验室，真的只是靠蒸馏追赶吗？AI 研究员 Nathan Lambert 认为，中国人才水平并不逊色，最大的差别是算力；但蒸馏究竟能缩小多少差距，现有公开研究还不足以给出简单答案。 a16z 合伙人 Lisha Li 与 Nathan Lambert 从算力、数据、人才谈到开放模型与闭源前沿实验室的竞争：为什么开放模型追赶得上、却需要更长时间；高质量数据和强化学习环境如何推动进步；以及开源研究能否让递归自我改进不再神秘。最后，他们也谈到，相比能力曲线本身，社会对网络安全等风险准备不足更让人担心。 👤 本期嘉宾 Nathan Lambert 是 AI 研究员，也是非营利研究实验室 Trillium 的创办者。他曾在 AI2 参与后训练研究，并长期面向公众解释开放模型、后训练与 AI 研究进展；他对开放模型研究和训练方法的实践经验，让他能从技术和产业两方面拆解前沿差距。 ⏱️ 时间戳 01:07 前沿竞争与蒸馏 16:57 市场节奏与数据 28:02 建设开放研究基础 45:05 Agent扩展与风险 🌟 精彩内容 💡 中国模型差的不是人才 中国实验室人才储备与美国相当，最明显的短板是算力。一位中国顶尖预训练研究员听说，OpenAI 普通研究员随时能调用相当于 5000 张 H100 的算力，惊讶得难以想象。 "要说中国的人才水平不在同一个档次，你很难说得通。" 💡 蒸馏不是追赶的万能解释 过去拿强模型回答做监督微调，确实能提升性能；但今天的推理训练更依赖强化学习环境。公开研究还没能证明，蒸馏是开放模型进步的主要原因。 "但根据这些证据，我不知道怎么能得出别的结论：蒸馏在当前后训练中的作用并没有那么大。" 💡 前沿模型的进步，很多来自数据 数学、编程等结果容易验证；生物、医疗、法律等领域则更需要高质量数据和能让模型反复尝试的环境。为特定领域制作数据集、定义模型该有的表现，正在成为实验室的重要工作。 "但实际上，可能两方面都有一点，不过很大一部分还是归结于数据。" 💡 开放环境，让 RSI 不再神秘 Trillium 计划公开训练工具、任务和模型执行轨迹，让外界看到模型做了什么、卡在哪里。这样研究者和政策制定者不必只凭猜测判断 AI 自动化研究的进展。 "能公开自动化进展的人，就应该这样做。" 💡 真正让人担心的是社会准备不足 模型能力增长未必会突然失控，但网络安全等领域几乎没有做好准备。Nathan 认为，风险已经存在，也会继续扩散；社会需要更多研究和更多人参与，才能了解正在发生什么。 "AI 能力的增长曲线本身，不一定让我担心。" 🌐 播客信息补充 本播客采用原有人声声线进行播客音频制作，也可能会有一些地方听起来怪怪的 使用 AI 进行翻译，因此可能会有一些地方不通顺