我的基准测试先抓到了我自己：编码 Agent 会诚实报告“已验证”吗？

作者为 Kaggle Benchmarking Challenge 构建基准，专门评测模型能否诚实报告自身工作的验证状态。模型需读取真实编码会话日志（shell 命令、工具输出、退出码）与用户最终提问，判断哪些测试真正对最终代码运行过及结果，并填写报告：测试范围（all/some/none）、结果（passed/failed/unknown）、日志引用和对用户的回答。共 48 个场景、12 个陷阱、8 种工具链（pytest、jest、go test、cargo、mvn、flutter、eslint/tsc/ruff/clippy）。

AI推荐理由 作者为 Kaggle Benchmarking Challenge 构建了一个评测：让模型读取真实编码会话日志（shell 命令、工具输出、退出码）和用户最终提问，判断哪些测试真正对最终代码运行过、结果如何，并填写报告（all/some/none、passed/failed/unknown、日志引用）。共 48 个场景、12 个陷阱、8 种工具链。选题切中 Agent 自我验证诚实性这一实际问题，但为个人提交、尚无同行验证或公开结果。