智能体
arxiv.org ·
@Shubhashis Roy Dipta
P2NPCBench:对抗多智能体改写下的P与NP完全配对评测
论文指出现有基准无法区分模型是推理还是记忆,提出P2NPCBench:12个问题族中每个NP完全问题都配有表面相同的多项式时间孪生问题。作者用AgentGAN对抗多智能体框架改写题干直至冻结代码模型失败,并以可执行有效性门控保证改写保持答案与复杂度类别,得到2114条加固题目及人工核验参考解,评测12个闭源与开源模型,发现各模型在NP完全题上得分均低于其P孪生题。
AI推荐理由 构建P2NPCBench,将12类NP完全问题与其多项式时间孪生问题配对,并用AgentGAN多智能体对抗改写去除教材线索、以可执行校验保证答案与复杂度类别不变,含2114条加固题目与人工参考解,评测12个模型;对区分推理与记忆有实际价值。
75
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。