rTaste：研究 Agent 有“品味”吗？评估早期研究判断力

论文让六个前沿模型以研究 Agent 身份（单独或组队）阅读七篇近期 NLP 论文，提出最小可行实验（MVE）、预测是否过阈值并排序；独立执行器执行全部 415 个 MVE，三名模型审计员评判。结果：194 个 MVE 被评为可靠、有价值且新颖，其中仅 73 个同时超出种子论文且非显而易见；Agent 首选实验优于随机选择，但未显示优于直接选论文中第一个实验；预测优于基率，但与同模型仅看论文和注册信息的新实例相比无显著更准；团队成本更高而提案质量无明确整体提升。

AI推荐理由 arXiv 论文，给出可核验的实验设计：6 个前沿模型对 7 篇近期 NLP 论文提出 415 个最小可行实验（MVE），由独立执行器全部执行、3 个模型审计员评判。具体新信息是量化了研究 Agent 的“品味”：415 个 MVE 中 194 个被评为可靠、有价值且新颖，但仅 73 个同时被认为超出种子论文且非显而易见；首选实验优于随机选择，但未显示优于“选论文中第一个写的实验”；预测优于基率，但与同模型仅看论文和注册信息的新实例相比无显著更准；团队成本更高但提案质量无明确整体提升。局限：审计员本身是模型，评判标准与统计显著性未在摘要中给出，结论为初步。