智能体
website ·
腾讯提出“环境演化”应对 Agent 强化学习的环境瓶颈
腾讯发表关于环境演化的论文。环境供给正成为 agent 强化学习的主要限制。环境演化在不观察 agent 的情况下提高难度，从多轮训练目标中推导出三种使环境更难的方法，并按固定计划逐代应用。他们先测试生成器，Hy4 preview、Claude Opus 5 和 GPT-5.6 Sol 在演化环境上表现更差，证实了难度提升。在 Qwen3.6-27B 和 Qwen3.6-35B-A3B 上应用普通长程 RL 后，Terminal-Bench 2.1 分别提升 14.4 和 18.0 分。
AI推荐理由 环境演化方法解决了 agent RL 中环境供应瓶颈，为 AI 从业者提供了提升 agent 泛化能力的新思路，对训练更强大的智能体有重要参考价值。
85
浏览 10,951
点赞 101
评论 9
转发 21
正文
腾讯关于环境演化的重磅论文。
环境供应正成为智能体强化学习的主要限制。所以这值得一读。
（收藏它）
智能体强化学习需要稳定的环境供应，这些环境要足够难，以教授新东西。最近的方法从智能体在自身轨迹中暴露的弱点来构建环境。
这种方法有两个问题。环境继承了智能体的盲点，因此泛化能力差。而且随着智能体改进，它暴露的弱点减少，可用于构建的素材变少，学习信号减弱。
环境演化在不观察智能体的情况下提高难度。论文从多轮训练目标直接推导出三种使环境更难的方法，然后按固定计划逐代应用。
他们在信任生成器之前先测试它。Hy4预览版、Claude Opus 5和GPT-5.6 Sol在演化环境上表现更差，这证实了难度。
在Qwen3.6-27B和Qwen3.6-35B-A3B上进行简单的长时程强化学习，然后在Terminal-Bench 2.1上分别增加了14.4和18.0分。
论文：[academy.dair.ai/papers/environ…](https://academy.dair.ai/papers/environment-evolution-for-terminal-agents-2609.04128)
查看原文（中文正文为 AI 翻译）
Banger paper from Tencent on environment evolution.
Environment supply is becoming the main limit on agent RL. So this is worth a read.
(bookmark it)
Agent RL needs a steady supply of environments hard enough to teach something new. Recent methods build them from the weaknesses an agent shows during its own rollouts.
That approach has two problems. The environments inherit the agent's blind spots, so they generalize poorly. And as the agent improves it exposes fewer weaknesses to build from, so the learning signal weakens.
Environment evolution raises difficulty without watching the agent at all. The paper derives three ways to make an environment harder straight from the multi-turn training objective, then applies them generation by generation on a fixed schedule.
They test the generator before trusting it. Hy4 preview, Claude Opus 5 and GPT-5.6 Sol all do worse on the evolved environments, which confirms the difficulty.
Plain long-horizon RL on Qwen3.6-27B and Qwen3.6-35B-A3B then adds 14.4 and 18.0 points on Terminal-Bench 2.1.
Paper: [academy.dair.ai/papers/environ…](https://academy.dair.ai/papers/environment-evolution-for-terminal-agents-2609.04128)
