ProteinGeoBench：前沿结构生物学 Agent 擅长检索却在几何上失分

作者构建 ProteinGeoBench，包含 131 个蛋白质结构任务，基于四个前沿模型的 4,249 次 rollout 和 26 个模型的 4,486 次额外试验进行分析。四个前沿模型中有三个得分集中在 0.785 至 0.816 之间且差异不显著，第四个为 0.707；其中三个在元数据检索上优于数值计算。数值任务仅占 131 个任务中的 28 个，却占四个模型全部失败的 12 个任务的一半。排名还依赖评测预算：每任务仅运行一次时，23.9% 的 bootstrap 重复会把不同模型排在第一。

AI推荐理由 该工作用 131 个蛋白质结构任务、4,249 次 rollout 及 26 个模型的额外试验，量化前沿 Agent 在结构元数据检索与坐标几何计算之间的能力差距，并指出评测预算会影响模型排名（单次运行下 23.9% 的 bootstrap 重复会换第一名）。对 Agent 评测方法学有参考价值，但结论限于该基准与所选模型。