阿里与浙大提出 Astar：用 LLM 学习 AI 系统演化史来指导模型迭代

机器之心 2026-09-13 10:20 四川  未来，“人类设计 Meta-AI（元 AI）来指导 AI”，似乎将成为一种必然趋势。  如今的 AI 已经能顺畅地帮你写代码、跑实验、做评估。算法工程师的每一天，几乎变成了：让 LLM 整理昨天的实验结果，让 LLM 实现新想法，让 LLM 监控实验运行…… 似乎只需把需求告诉 AI，它就能完成大部分算法工作。 目前唯一未被 AI 取代的，是算法工程师的 “创造力”—— 即发现 AI 系统改进方向的能力。通常，模型下一步该往哪改，是高度依赖算法工程师的经验和直觉的。现在，连 “怎么让自己变强” 这事，AI 也能自己做主了！ 阿里和浙大联手推出了专门用于指导 AI 系统进化的 LLM——Astar。与直接使用通用大模型给出 “万金油” 经验不同，Astar 另辟蹊径：去深度学习 AI 系统自身的 “进化血泪史”—— 那些散落在历史记录里的代码提交和实验结果。将这些真实的演化经验内化后，Astar 能够根据当前 AI 系统的状态，自适应地探索出未来的演化方向。 实践中，Astar 能够将算法工程师产生新 idea 的效率提高 10~100 倍，提出的演化方向也显著优于现实专家和通用基模，彻底走通提出想法、编写代码、模型训练、评估上线的 AI 进化链路闭环。 落地于阿里核心推荐业务，Astar 更是爆提离线 HitRatio 指标 23.6%，在线 GMV 指标 4.86%。这一 AI 改造 AI 的 “造物飞轮”，也许真的会让算法工程师捏一把冷汗？  论文地址： 一道绕不开的难题：AI 的迭代太依赖 “人的经验” 搞过算法的都知道，普通软件工程和 AI 模型迭代有着显著的差异。 修改一段普通代码，跑个测试用例，几秒钟就能见分晓。但修改一个工业级 AI 模型，往往需要经历极其昂贵的验证周期。从修改代码、重新训练到离线评估，通常需要等上几个小时甚至好几天。试错成本如此高昂，意味着团队根本没有算力资源去穷举所有的 idea。 在一堆看似可行的改进方向里，到底该把宝贵的算力优先砸给哪一个？ 过去，这主要依靠资深算法专家的 “直觉”。专家们需要极其了解眼前的业务、数据分布、模型架构和训练动态。一个团队模型迭代的快慢，在很大程度上被这种稀缺的经验卡了脖子。 有人会问，既然现在的通用大模型这么聪明，直接把代码丢给它们出主意不就行了？ 然而，真实工业场景的复杂性往往超出预期。通用大模型吸收了海量的公开论文和开源代码，它们深谙各种前沿原理，但面对特定的业务数据和高度定制化的现有系统时，这种 “通用知识” 有时难以直接转化为 “实战经验”。工程师兴冲冲地照着改，满怀期待地等了三天三夜，结果往往是指标纹丝不动，甚至反向跳水，高昂的算力费用和时间成本全打了水漂。  AI 系统的迭代循环仍高度依赖人工经验，想 idea 仍然是卡脖子的环节 换个思路：去系统自身的 “演化史” 里挖金矿 通用知识既然难以完美适配，那真正的领域经验藏在哪？Astar 团队捕捉到了一个极具价值的数据源：AI 系统自身的历史版本记录。 每一次 Git 提交，都完整记录了模型从上一版到下一版到底改了什么，以及随之而来的 loss 曲线和业务指标涨跌。这不就是现成的、带着真实业务反馈的 “避坑指南” 吗？ 顺着这个思路，团队决定把这些散落在版本历史里的经验，变成模型能学的训练数据。但要真正跑通这条路，Astar 必须跨越四座大山： * （C1）数据太少：一个仓库的真实迭代记录非常有限，只看相邻两次提交的改动，可用的监督样本少得可怜。 * （C2）满库是 “水”：大量的代码提交其实只是加日志、换文件路径、清理无用代码，如果直接喂给模型，模型很难学到核心的算法演化逻辑。 * （C3）空间太大：模型的改进方向浩如烟海，是该动架构？换损失函数？还是换优化器？每个大方向下还有无数微操。 * （C4）验证太贵：想让 AI 学会自主探索，就需要强化学习中海量的试错反馈。但跑一次真实的验证实验就要好几天，验证成本难以承受。 面对这四大挑战，Astar 是如何一一破解的？ 破局：Astar 的 “炼丹” 淬炼之路 为了啃下这块硬骨头，阿里与浙大的团队设计了一套极具巧思的流水线，从看似杂乱无章的工程代码提交中，提炼出了 “进化方法论”。 破解数据太少：两两组合，让数据 “无中生有” 既然相邻两次提交的改动太少，Astar 团队采用了一种巧妙的 “两两扩增” 策略。他们不再局限于相邻版本的演进，而是将历史上的任意两次实验进行配对（比如对比版本 1 和版本 5），然后拉出它们完整的 loss 曲线，谁的 loss 更低，谁就是更好的版本。 这不仅瞬间将稀疏记录扩展成了密集的训练样本，还让模型既能学到短期的 “微调技巧”，也能学到长期的 “跨越式升级”。 破解满库是 “水”： 两级过滤，疯狂拧干水分 面对混杂着大量无用代码的提交记录，Astar 设置了两道 “清洗程序”。 第一道是执行逻辑过滤：通过代码调用图分析（Reachability）和抽象语法树（AST），剥离所有打印日志、死代码和格式调整。 第二道是进化意图过滤：利用 LLM 给剩下的纯净代码做语义分析。如果一段代码改动无法被归类为明确的 “优化意图”，就会被当成噪音过滤掉。留下来的，都是能真实影响模型性能的干货。 破解空间太大：三级指引，层层递进化繁为简 演化方向太多怎么选？Astar 的解法是：分层生成。 在训练时，团队给数据打上了严格的 “三级标签提示（Hierarchical Hints）”：一级主方向 -> 二级细分模块 -> 三级具体动作。 这让 Astar 在推理时学会了像顶级架构师一样思考：它不会一上来就在庞大的代码库里盲目改参数，而是先确定大方向（如 “优化策略”），再聚焦细分模块（如 “Muon 优化器 / 梯度正交化），最后落实具体动作（如 “梯度降噪”）。这种层层递进的逻辑，将一个原本几乎无限大的搜索空间，高效约束成了有迹可循的结构化生成过程。 破解验证太贵：离线打分，一秒钟 “云验证” 为了解决强化学习试错太贵的致命伤，团队利用历史的正负样本，训练出了一个奖励模型（Reward Model）。面对一个生成的演化方案，这个奖励模型只需一秒钟就能预测出它降低 loss 的概率。 有了这个秒级 “代理专家”，系统不仅能在海量灵感中光速初筛出最靠谱的几个去上机验证，还为 Astar 的强化学习后训练（RL）提供了源源不断的低成本反馈，使其能够主动探索那些前人未曾尝试过的新方向。  从迭代历史中学习进化方向面临的四个挑战及 Astar 对应的四个设计 小模型，也有大能力 基于上述精心处理的演化语料和高效的代理奖励模型，Astar 能够进行标准的三阶段训练 —— 中间训练（mid-training）→监督微调（SFT）→强化学习（RL），并展现出了惊人的演化指导能力。 在面对相同的推荐系统优化场景时，通用大模型（包括前沿的 GPT-5.5、Claude-4.8-Opus 等）虽然能提供方向，但在真实业务中的直接执行成功率存在一定局限。相比之下，Astar 的表现明显更加优越。 即便是参数量最小的 0.6B（6 亿）版本，它单次生成有效优化方向的成功率（S@1）就达到了惊人的 54.35%！ 不仅明显超越了最强的通用模型 GPT-5.5（30.71%），甚至干翻了人类资深算法专家（32.29%）。而 8B 版本的 Astar 更是将单次生成成功率推高到了 67.86%！ 这个数据向我们揭示了一个趋势：在垂直的工程决策领域，喂给模型高质量的、浸透着真实系统反馈的 “领域演化史”，与盲目增加模型通用参数规模一样，都是提升性能的关键路径。  生成质量对比图，Astar 与通用大模型、人类专家的对比。RM@k 代表基于奖励模型打分的 k 次生成成功率，S@k 代表真实执行下的 k 次生成成功率 效率上的对比更是令人振奋。过去，人类专家憋出一个靠谱的想法，写代码、等训练结果，一周撑死能验证几个到十几个方向。而现在有了 Astar + 奖励模型的 “秒级初筛” + 自动化执行验证闭环，单个人工想法的试错成本从几个小时～几天，断崖式暴跌到几分钟。 迭代吞吐量直接原地起飞一到两个数量级！  传统算法工作流和 Astar 的时间消耗对比 更硬核的是，这些被 Astar 筛出的改进方向，绝不是只能在离线测试里自嗨的 “花架子”。为了验证它的真实威力，团队直接让 Astar “接管” 了阿里 Lazada 核心广告推荐系统的演进。在没有任何人类干预的情况下，Astar 连续主导了 20 轮全自动化迭代，不仅在离线指标上爆提 Hitrate@200 高达 23.6%，在随后极其严苛的线上 A/B 测试中，更是带动 GMV（商品交易总额）提升 4.86%，广告收入提升 1.82%，点击率和订单量同步显著增长！ 要知道，在如此成熟、庞大且被无数聪明大脑反复榨干过性能的电商广告系统里，由 AI 自己提出的改进能斩获这样的真金白银，足以让业内捏一把冷汗！  Astar 改进的 Lazada 广告推荐系统，线上多项核心业务指标显著提升 所以，Astar 到底给出了什么 “神仙建议”？ 你可能会好奇，Astar 提的建议到底比通用基模强在哪儿？ 以系统真实迭代中的一个案例为例。当时，业务团队尝试在训练中引入新一代的 Muon 优化器。Muon 的一个特性是会通过正交化强行将梯度里的各个方向权重 “拉平”。如果是干净的数据，这个特性极佳；但在充满噪声和随机性的推荐场景里，这种 “一刀切” 反而放大了本该被抑制的噪声。 面对这种情况，通用的修改建议往往是 “调整学习率” 或 “退回 Adam 优化器”。但 Astar 给出了一个极具数学美感的针对性改造方案：“在正交化之前，先做频谱降噪（Spectral Denoising）。” 它建议利用随机矩阵理论中的 “马琴科 - 帕斯图尔（Marchenko-Pastur）定律”，算出一个确定的数学边界：高于这个边界的信号，正常拉平；落入噪声分布区间的信号，直接压制。这不仅完美保留了 Muon 优化器的优势，还顺手解决了噪声放大的问题，且没有增加任何额外的训练参数负担。这种直击痛点的修改，正是建立在 Astar 对该系统数据分布特性和算法数学本质的深度理解之上的。 写在最后：开启 AI 的无限进化闭环 给出一次高质量建议只是开始。团队为 Astar 设计了一个精妙的闭环：Astar 提出方向 -> Code Agent 写代码跑实验 -> 验证结果回流 -> 重新作为训练数据反哺 Astar。这意味着 Astar 是一个 “活着” 的模型：随着系统的演进，它的指导能力也会一同成长。 过去，在 AI 系统的迭代演进这个最核心的领域，我们高度依赖算法专家的脑力运算。Astar 的出现，补齐了自动化演进的关键拼图，让 “优化决策” 第一次有了可训练、可迁移的路径。 但这绝不意味着算法工程师的退场。相反，它昭示着一种更高级的新分工模式正在到来。未来，“人类设计 Meta-AI（元 AI）来指导 AI”，似乎将成为一种必然趋势。 当 “尝试微调和试错验证” 的工作被 Astar 这样的模型接管，未来的算法工程师将从繁琐的调参劳动中解放出来。人类可以将更多的精力与创造力，投入到前沿架构的突破、全新业务范式的定义，以及设计出更聪明的 “造物飞轮” 上。AI 系统的自动化进化之路才刚刚开始，而在这场浩瀚的探索中，算法工程师的智慧依然是不可或缺的领航者。  © THE END  转载请联系本公众号获得授权 投稿或寻求报道：liyazhou@jiqizhixin.com [跳转微信打开](https://wechat2rss.bestblogs.dev/link-proxy/?k=a0626152&r=1&u=https%3A%2F%2Fmp.weixin.qq.com%2Fs%3F__biz%3DMzA3MzI4MjgzMw%3D%3D%26mid%3D2651056885%26idx%3D2%26sn%3D44f99018c4f0e3bed9770da929cc3aed)