行业动态
news.ycombinator.com ·
Real-SWE:在私有、真实世界的企业代码库上对 AI 模型进行基准测试
Hacker News 上出现一条指向 withspecific.com 的 Real-SWE 基准页面,标题称该基准在私有、真实世界的企业代码库上评测 AI 模型。输入未提供任务设计、样本规模、评测方法或结果等细节,尚无法判断其可复现性与实际参考价值。
AI推荐理由 该条目指向一个名为 Real-SWE 的基准,声称在私有、真实世界的企业代码库上评测 AI 模型,并给出 withspecific.com 的基准页面链接。其价值在于把评测场景从公开合成任务扩展到企业私有代码库,这对评估模型在真实工程环境中的表现有参考意义;但输入仅有一句标题式描述和链接,没有提供任务设计、样本规模、评测方法或结果数据,无法判断该基准是否可复现、是否经过同行验证,因此不能视为已验证的突破。
62
正文
https://withspecific.com/benchmarks/real-swe Real-SWE: Benchmarking AI models on private, real-world, enterprise codebases (withspecific.com )