为什么机器学习研究 agent 不会过拟合？

Amazon Science 博客文章指出，ML 模型即便经过多轮迭代改进也未在基准上过拟合，与教科书预测相悖。对 ML 研究 agent 的实验表明，成功策略具有高度可压缩性：将策略压缩通过信息瓶颈（最少 16 token）后，一个无记忆的新 agent 仍能复现原 agent 的性能，说明其捕获的是真实结构而非记忆数据。压缩既是解释也是诊断工具——真正过拟合的策略在通过瓶颈后验证集增益会消失。文章还认为 LLM 是强大的压缩解码器，可凭少量专家简写提示重建完整 ML 流程。

AI推荐理由 Amazon Science 博客文章，作者署名 Martin Bertran Lopez 与 Aaron Roth，讨论 ML 研究 agent 为何不随迭代评估而过拟合。核心新信息：实验显示成功策略高度可压缩，经信息瓶颈压缩至最少 16 token 后，无记忆的新 agent 仍能复现原 agent 表现，说明捕获的是真实结构而非记忆数据；压缩同时可作为诊断工具，真正过拟合的策略在瓶颈后验证增益消失。局限：正文为博客摘要片段，未给出实验规模、基准与统计细节，结论仍需原文验证。