大模型
mp.weixin.qq.com ·
@PaperAgent
拆解 GPT-6 Astra 背后的 Loop 技术细节：循环 Transformer 的机制与成本
文章转述 Sebastian Raschka 对循环 Transformer（Looped Transformer）的长文分析，核心是让同一组 Transformer 层反复通过而非堆叠更多层。以刚开源的 Nanbeige4.2-3B 为例：22 个 Transformer 块循环 2 次，展开相当于 44 层模型，但只保存 22 组权重。成本上参数约省一半（3B 参数中 embedding 与输出层约占 25%），但前向与反向计算量、KV cache 体积与 44 层模型相近；Nanbeige 尝试跨遍共享 KV cache 可减半体积但性能明显下降，发布版采用独立缓存。文章还称从零训练循环结构优于先训 44 层再压缩，循环 2 次为性价比最优，3 次以上收益递减且训练不稳定。文中提及 GPT-6 Astra 使用 recurrent depth 的说法来自 The Information 报道，未提供直接证据。
AI推荐理由 文章转述 Sebastian Raschka 对循环 Transformer（Looped Transformer）机制的长文拆解，给出具体技术细节：Nanbeige4.2-3B 用 22 个 Transformer 块循环 2 次、展开相当于 44 层但只存 22 组权重；并指出参数约省一半，但前向/反向计算量与 KV cache 开销与 44 层模型相近，跨遍共享 KV cache 会明显掉性能，循环 2 次为性价比最优、3 次以上收益递减且训练不稳定。这些是可验证的机制与成本权衡信息，对理解 GPT-6 Astra 传闻中的 recurrent depth 有参考价值。局限在于：GPT-6 Astra 与 The Information 报道内容本身未在正文中给出证据，属转述与传闻，需保留不确定性；来源为自媒体转述，非原始论文或官方发布。
72
正文
PaperAgent 2026-09-19 11:24 湖北
GPT-6 Astra发布前两天，The Information 放出一篇报道，说 OpenAI 在这个模型里用了一个秘密技术——**recurrent depth（循环深度）**。[这家国产厂商悄悄开源了个超惊艳的统一大模型，冲](https://mp.weixin.qq.com/s?__biz=Mzk0MTYzMzMxMA==&mid=2247511813&idx=1&sn=4f682e44b5625d838eae2db513078a42&scene=21#wechat_redirect)
Sebastian Raschka（前威斯康星大学教授，《Build a Reasoning Model (From Scratch)》作者）在 Astra 发布后写了一篇长文，把这个技术的来龙去脉全部拆开。
computer-use training workflow总览
先把 Astra 本身放一边。文章的核心：它把循环 Transformer（Looped Transformer）的机制、真实成本和研究谱系一次讲透了。[完全没想到，国产大模型也在押注Loop Transformer技术](https://mp.weixin.qq.com/s?__biz=Mzk0MTYzMzMxMA==&mid=2247511813&idx=1&sn=4f682e44b5625d838eae2db513078a42&scene=21#wechat_redirect)
# 这个 Loop 到底是什么
用一句话说：**让同一组 Transformer 层反复走多遍，而不是堆更多层**。
Raschka 拿刚开源的 Nanbeige4.2-3B 举了个例子。这个模型只有 **22 个 Transformer 块，但让输入循环通过这 22 个块 2 次**——展开来看相当于一个 44 层的模型，而权重只存 22 份。第 23 次块应用复用的是第 1 块的权重，第 24 次复用第 2 块，依此类推。
*Nanbeige4.2-3B：22个块的堆栈循环两次，橙色箭头标出回环*
*同一路径展开成两遍，共44次块应用，但只保存22组权重*
这笔交易的账本要算仔细。参数确实省了——大约是常规 44 块模型的一半（Nanbeige 的 3B 参数里，embedding 和输出层就占了约 25%）。但另外两笔开销一分没省：**前向和反向的计算量与 44 块模型相近**，KV cache 也一样大——两次循环里同一层的中间状态并不相同，Nanbeige 试过跨遍共享 KV cache，体积减半但性能明显下降，发布版只能用独立缓存。顺带一提，如果只是"从头训练一个 44 层模型再循环压缩"，效果不如直接从零训练循环结构；而循环次数上，**2 次是性价比最优解**，3 次以上收益递减、训练还不稳定。
*传统加深与循环复用的参数量对比*
所以循环深度不是"免费加深"，而更像**用一半的权重预算，买回完整深度的计算**。这引出一个自然的追问：既然不省算力，图什么？
# 循环次数还能"按需分配"
有意思的是，循环次数本身也可以是个灵活旋钮，而且这条线的源头比大多数人想的早得多。
2018 年的 **Universal Transformer** 就设计了自适应停止：一个小型可训练函数在每一步为每个位置输出"停止概率"，累积超过阈值就停，不同 token 可以经历不同次数的循环——本质上是在按 token 分配算力。字节跳动的 Ouro-Thinking 2.6B 把这个思路推到极端：**48 个块循环 4 次，共 192 次块应用**，配一个学习到的出口门控。（Raschka 也指出了个尴尬细节：它在 HuggingFace 上的开源实现是先算完全部 4 遍再选出口，循环数实际被硬编码了。）
*Universal Transformer 的自适应停止机制*
2025 年的 **Mixture-of-Recursions（MoR）** 则把这个旋钮交给了路由器：一个学习出来的小型 router 看每个 token 的隐状态（包含上下文），决定它过几遍递归块——同一个词在不同位置可以享受不同深度。路由方式有两种：expert-choice 是每一步挑哪些 token 继续循环，token-choice 是开头一次性给每个 token 分配 1、2 或 3 次的路径。
*MoR 的两种路由：expert-choice 与 token-choice*
MoR 的实验还送了一个重要教训：**在最小的 135M 规模上，普通 Transformer 反而更好**——只看小模型会得出"循环没用"的相反结论；模型够大之后，MoR 才追平甚至反超，尤其在小训练预算下。这也是为什么循环架构的验证必须上规模。
*四种模型规模、三种算力预算下的验证损失对比*
# 循环买到的，是推理而不是知识
到目前为止，"省参数的加深"听起来只是工程上的精打细算。真正让循环 Transformer 有分量的，是两项关于"它到底买到了什么"的研究。
第一项来自 Zhu et al.（2025 年 6 月），他们把"记忆"和"推理"拆开测。记忆实验里，固定参数量之下，循环几乎不增加模型能存储和检索的知识——容量只跟着独立参数量走。推理实验里，复用块却在**不加任何参数**的前提下提升了多步数学题的表现。两相对照，结论很干净：**循环是"计算"机制，不是"存储"机制**。它买到的是思考的算力，不是知识的容量。
*Zhu et al. 的记忆实验：容量随参数量增长，与块应用次数关系不大*
第二项是 2026 年 9 月的 SMELT，直接把这笔账算到了 54B 非嵌入参数的规模。它用的是 MoE 架构，中间一半的块应用两次，然后做三步补偿：缩小隐藏维度抵消多出来的计算量、增加专家数量把参数总量补回去、调整注意力头配置让 KV cache 保持可比。拟合 scaling 曲线后的结论是：\*\*达到相同的验证损失，循环版所需的训练算力少约 6.8% 到 18%\*\*。换句话说，在同等算力预算下，循环是净赚的。
*SMELT 的架构调整示例：宽度、专家数、块应用、参数、算力与KV cache的对应关系*
在这两项之间，还有 Geiping et al. 的"潜在推理"模型值得一提：3.5B 参数、800B token 训练，4 个共享块夹在 2 个首块和 2 个末块之间，每轮循环把首块输出与上一轮的隐状态拼接、经线性投影再送入共享块。推理时循环次数可以固定预算（8、32、64 次），也可以用相邻两轮输出分布的 KL 散度低于阈值来自适应停止。收益因任务而异：常识类的 HellaSwag 大约 8 轮就饱和，**而 GSM8K 和 HumanEval 这类多步推理任务确实从更多循环中受益**。
*Geiping et al. 潜在推理模型的概念图：拼接、投影与循环*
# 隐藏思维链是个伪危机吗
回到爆料的另一个卖点：循环让 Astra 的推理"更难监控"。
先看 Astra 本身。它仍是推理模型，训练范式没有根本变化——RLVR 加中间推理痕迹。据黄仁勋透露，模型本体在约 **10 万块 Grace Blackwell GPU** 上训练；OpenAI 还买了数万台 Mac mini 和 Mac Studio，不过 Mac 只是 RL 的交互环境：任务提示、截图、模型预测鼠标键盘动作、harness 执行、再截图，循环往复，用成功信号训练——Astra 在计算机使用上的跃升是这样做出来的。
*Astra 计算机使用能力的 RL 训练循环*
争议点在 token 用量：**Astra 在同等准确率下，比 GPT-5.6 Sol 用了明显更少的 token**。The Information 把这解读为"推理被藏进架构、监控性倒退"。Raschka 的判断相反：更短的思维链更可能说明模型错得更少、回溯更少——他给了一个很贴的类比，**准备充分的学生，考试时草稿纸用得更少**。旁证是反方向的：能力更弱的 Luna 在接近的性能下比 Sol 多用了约 80% 的 token。
*GPT-6 Astra 各基准随输出 token 数变化的准确率*
```
GPT-6 Astra, Looped Transformers, and Hidden Reasoning
https://magazine.sebastianraschka.com/p/gpt-6-astra-looped-transformers-and
```
[动手设计AI Agents：（编排、记忆、插件、workflow、协作）](https://mp.weixin.qq.com/s?__biz=Mzk0MTYzMzMxMA==&mid=2247492838&idx=2&sn=1e25832e7300ef312721325d0def30b4&scene=21#wechat_redirect)
Loop工程已死，Graph工程永生
[一篇Loop+Harness的自进化Agent最新综述](https://mp.weixin.qq.com/s?__biz=Mzk0MTYzMzMxMA==&mid=2247508769&idx=1&sn=1c079514aee90450f55fccb41c7ec282&scene=21#wechat_redirect)
[2026，做Agentic AI，绕不开这两篇开年综述](https://mp.weixin.qq.com/s?__biz=Mzk0MTYzMzMxMA==&mid=2247508495&idx=1&sn=309c84ca5c2822416fddc1a9dd4f6048&scene=21#wechat_redirect)
已经读到这了，不妨点个👍、❤️、↗️三连，加个星标⭐，不迷路哦~
[跳转微信打开](https://wechat2rss.bestblogs.dev/link-proxy/?k=66b3fa47&r=1&u=https%3A%2F%2Fmp.weixin.qq.com%2Fs%3F__biz%3DMzk0MTYzMzMxMA%3D%3D%26mid%3D2247511931%26idx%3D2%26sn%3D0c0b7996729808d4bff429deb7fe4419)