最新资讯
bloomberg.com 台积电据报考虑生产先进 AI 存储芯片 www.infoq.com Yelp 为 AI Assistant 融合原生与服务器驱动 UI computerworld.com 英国监管机构:企业须为自家 AI 代理的错误负责 siliconangle.com Atomicwork 推出面向企业 IT 与安全的认证 AI 同事市场 computerworld.com OpenAI 收购小型软件公司以改进 Codex bdtechtalks.com Next-Concept Modeling 如何重新思考 AI 文本生成 computerworld.com Box 发布 Architect:用自然语言构建业务流程工作流 techrepublic.com Perplexity 推出 Teammates:每月 200 美元的 AI Agent 如何工作 the-decoder.com METR 称 Anthropic 或已在 7 月越过自身 AI 加速预警阈值 towardsdatascience.com 用 Ollama 和 Python 构建你的第一个多工具 AI Agent the-decoder.com Thinking Machines 的 Inkling 2 Small 称霸西方开放权重模型 dev.to 为 CI/CD 构建 AI 质量门禁
多元动态
登录 注册
行业动态 dev.to · @Vishal Habib

我的评分器答对了所有真实答案,四轮红队测试仍攻破了它

原文 我的收藏

作者构建了一个不引入模型在环的量子电路评分器:生成电路的完整矩阵或输出态,与参考结果在1e-9容差内比对。在45个任务(30个试点+15个盲测,含Bell态、受控旋转、3-qubit QFT、相位oracle及“仅用CNOT”约束)上测试两个模型:Sonnet通过45/45,Haiku通过28/45,并出现13次错误声称成功。其中11次错误源于文件缺少OPENQASM 2.0;行;事后补上该行后Haiku通过39/45,仅2次错误声明。作者指出Sonnet已触及天花板,任务集对其偏易,并强调该补行检查属于事后分析。

AI推荐理由 作者自述构建了一个不依赖模型在环的量子电路评分器,用完整矩阵/输出态与参考电路在1e-9内比对,并在45个任务(含15个盲测)上测试Sonnet与Haiku,发现Haiku的13次错误“成功”声明中有11次是漏写OPENQASM 2.0;行,补上后通过39/45。提供了具体任务构成、失败模式和事后检查的局限说明,对Agent评测与验证设计有参考价值;但为个人博客自述,未经独立复现。

78

正文

当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。

来源报道 · 1 篇 · 以下链接均前往原始媒体

← 返回精选动态 原文

更多内容