大模型
reddit.com ·
@/u/winer666
Claude Opus 5.5 在 ProgramBench 从零重建程序任务上达 18.5%
据 Reddit 帖子转述 Jack Clark 的 Import AI(10 月 26 日),Claude Opus 5.5(xhigh)在 ProgramBench 的 200 个从零重建任务中解决 18.5%,任务为根据编译后二进制与文档重写 SQLite、FFmpeg、ripgrep 等程序;该基准 5 月发布时所有模型均为 0%。Clark 预测该基准将在 2027 年底前饱和,属其个人判断而非实测结果。
AI推荐理由 涉及 ProgramBench 上从二进制与文档重建 SQLite、FFmpeg、ripgrep 等程序的 18.5% 成绩,对编码模型能力评估有较高关注价值;但信息来自 Reddit 转述 Jack Clark 的 Import AI,未提供原始评测细节,2027 年饱和预测为个人判断,需保留不确定性。
60
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。