PhantomEnvironments：在虚构世界中训练 LLM Agent

针对 RL 训练 LLM Agent 受限于环境需提供可验证奖励、支持长程交互且可低成本扩展的问题，作者提出 PhantomEnvironments：完全由规则生成、不依赖 LLM、边际成本为零的多轮 RL 环境，Agent 需在模板化文章语料中检索以回答多跳问题。摘要称这些与真实世界无事实共享的环境可训练出迁移到真实多跳搜索基准的 Agent，在较新基准上常优于真实世界训练数据，并能泛化到未见虚构宇宙，Qwen 模型还学会扩展搜索预算。

AI推荐理由 提出用纯规则生成、零边际成本的虚构世界环境训练 LLM 搜索 Agent，无需 LLM 生成环境，规避幻觉与基准污染；摘要称训练出的 Agent 可迁移到真实多跳搜索基准，并在较新基准上常优于真实世界训练数据，还能泛化到未见虚构宇宙。局限在于摘要未给出具体基准名称、提升幅度和实验规模，迁移效果仍需正文数据核实。