AI编码
withspecific.com ·
@theanonymousone
Real-SWE:在私有真实企业代码库上评测 AI 模型
Real-SWE 是一个面向前沿 AI 模型的基准,任务取自从真实公司授权的私有生产代码库,覆盖计费、税务计算、客户迁移等有业务影响、常跨多个服务的改动,要求 agent 理解企业特有规则与既有代码约定。公布的首批结果中,Fable 5.1 搭配 Claude Code 解决率 38.8%,GPT-6 Astra 搭配 Codex CLI 为 33.8%,Gemini 3.8 Flash 搭配 Gemini CLI 为 31.2%。
AI推荐理由 该基准针对私有企业生产代码库评测前沿模型,任务来自真实公司授权代码,涉及计费、税务、客户迁移等有业务后果的改动,并给出 Fable 5.1/Claude Code 38.8%、GPT-6 Astra/Codex CLI 33.8%、Gemini 3.8 Flash/Gemini CLI 31.2% 的解决率排名。新信息在于评测集非公开、强调企业特有约定与多服务复杂度,对 coding agent 落地评估有参考价值;局限是正文为发布页片段,未提供任务数量、评分细则与可复现方法,且模型名称与数据无法在输入中独立验证。
72
评论 59
社区积分 98
正文
Real-SWE: Benchmarking AI models on private, real-world, enterprise codebases 👉 108 HN Points: https://news.ycombinator.com/item?id=49676820 原文地址: https://withspecific.com/benchmarks/real-swe