最新资讯
bloomberg.com Nvidia 加强东南亚芯片追踪以打击走私 thestack.technology 模型路由需求升温,Agent Router 推出开源替代方案 unite.ai Cashfree 为 AI Agent 的托管结账加入 WebMCP 工具 dev.to 我们在 DolphinBench 上测试记忆检索:纯关键词搜索暴露了自身回归 dev.to 别再把 Agent 写成 while 循环,把它建模为状态机 analyticsindiamag.com 小语言模型可能重塑企业 AI 部署方式 bloomberg.com Rightmove 与 Scout24 借 AI 产品应对低迷房市并上调展望 stackoverflow.blog 欢迎来到芯片时代:半导体制造、AI 数据中心与芯片设计的未来 www.youtube.com AI Agent 总犯同样的错:CentralAgent AI 将记忆重构为经验系统 pub.towardsai.net Netflix 科学家建议重采样 LLM 评判:5 次仅将误差棒缩小 13% pub.towardsai.net Jev 作为 LLM 前的静默层:构建提示感知的模型路由器 reddit.com OpenAI 称 Astra 仅满足 10% 安全任务标准
多元动态
登录 注册
AI编码 withspecific.com · @theanonymousone

Real-SWE:在私有真实企业代码库上评测 AI 模型

原文 我的收藏

Real-SWE 是一个面向前沿 AI 模型的基准,任务取自从真实公司授权的私有生产代码库,覆盖计费、税务计算、客户迁移等有业务影响、常跨多个服务的改动,要求 agent 理解企业特有规则与既有代码约定。公布的首批结果中,Fable 5.1 搭配 Claude Code 解决率 38.8%,GPT-6 Astra 搭配 Codex CLI 为 33.8%,Gemini 3.8 Flash 搭配 Gemini CLI 为 31.2%。

AI推荐理由 该基准针对私有企业生产代码库评测前沿模型,任务来自真实公司授权代码,涉及计费、税务、客户迁移等有业务后果的改动,并给出 Fable 5.1/Claude Code 38.8%、GPT-6 Astra/Codex CLI 33.8%、Gemini 3.8 Flash/Gemini CLI 31.2% 的解决率排名。新信息在于评测集非公开、强调企业特有约定与多服务复杂度,对 coding agent 落地评估有参考价值;局限是正文为发布页片段,未提供任务数量、评分细则与可复现方法,且模型名称与数据无法在输入中独立验证。

72 评论 59 社区积分 98

正文

Real-SWE: Benchmarking AI models on private, real-world, enterprise codebases 👉 108 HN Points: https://news.ycombinator.com/item?id=49676820 原文地址: https://withspecific.com/benchmarks/real-swe

来源报道 · 3 篇 · 以下链接均前往原始媒体

← 返回精选动态 原文

更多内容