行业动态
dev.to ·
@Vishal Habib
我的评分器答对了所有真实答案,四轮红队测试仍攻破了它
作者构建了一个不引入模型在环的量子电路评分器:生成电路的完整矩阵或输出态,与参考结果在1e-9容差内比对。在45个任务(30个试点+15个盲测,含Bell态、受控旋转、3-qubit QFT、相位oracle及“仅用CNOT”约束)上测试两个模型:Sonnet通过45/45,Haiku通过28/45,并出现13次错误声称成功。其中11次错误源于文件缺少OPENQASM 2.0;行;事后补上该行后Haiku通过39/45,仅2次错误声明。作者指出Sonnet已触及天花板,任务集对其偏易,并强调该补行检查属于事后分析。
AI推荐理由 作者自述构建了一个不依赖模型在环的量子电路评分器,用完整矩阵/输出态与参考电路在1e-9内比对,并在45个任务(含15个盲测)上测试Sonnet与Haiku,发现Haiku的13次错误“成功”声明中有11次是漏写OPENQASM 2.0;行,补上后通过39/45。提供了具体任务构成、失败模式和事后检查的局限说明,对Agent评测与验证设计有参考价值;但为个人博客自述,未经独立复现。
78
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。