最新资讯
reddit.com OpenAI 称 Astra 仅满足 10% 安全任务标准 dev.to FreeToken:在自有 GPU 上运行前沿 MoE 模型及其内存需求 dev.to 当 AI Agent 说“完成”时,究竟完成了什么? dev.to 部署 Underdog Bark 3.0 Pro:逐字转写、自定义后端与分块设置 dev.to 为艰难对话构建 AI:五个 Agent、一条安全正则与一位盲评监督者 techcrunch.com Palo Alto Networks 洽谈以 5 亿美元收购 AI Agent 安全初创公司 Clutch theinformation.com 黄仁勋被要求就涉华间谍指控向国会作简报 www.infoq.com Edera 推出 Object Capability Bounded Authority,试图将凭证与 AI Agent 工作负载隔离 wechat 这波杀疯了!旗舰级模型不限量、1个月视频额度免费领 bloomberg.com AI 抛售蔓延至信用市场,软银领跌亚洲美元债 dev.to 如何在专用 GPU 服务器上用 OpenAI 兼容 API 部署 LLM dev.to 审计 153 份 Claude Code 与 Codex 会话记录:User-Agent 与 URL 中的邮箱泄露
多元动态
登录 注册
行业动态 news.ycombinator.com ·

Real-SWE:在私有、真实世界的企业代码库上对 AI 模型进行基准测试

原文 我的收藏

Hacker News 上出现一条指向 withspecific.com 的 Real-SWE 基准页面,标题称该基准在私有、真实世界的企业代码库上评测 AI 模型。输入未提供任务设计、样本规模、评测方法或结果等细节,尚无法判断其可复现性与实际参考价值。

AI推荐理由 该条目指向一个名为 Real-SWE 的基准,声称在私有、真实世界的企业代码库上评测 AI 模型,并给出 withspecific.com 的基准页面链接。其价值在于把评测场景从公开合成任务扩展到企业私有代码库,这对评估模型在真实工程环境中的表现有参考意义;但输入仅有一句标题式描述和链接,没有提供任务设计、样本规模、评测方法或结果数据,无法判断该基准是否可复现、是否经过同行验证,因此不能视为已验证的突破。

62

正文

https://withspecific.com/benchmarks/real-swe Real-SWE: Benchmarking AI models on private, real-world, enterprise codebases (withspecific.com )

来源报道 · 1 篇 · 以下链接均前往原始媒体

← 返回精选动态 原文

更多内容