最新资讯
dev.to 银行 77 意图分类最便宜 LLM:GPT-6.1 Terra 每次成功任务 $0.000727 theinformation.com Chesky的副业:Airbnb向CEO新设AI实验室出售IP theverge.com OpenAI 宣布数据中心项目不再与公职人员签署保密协议 dev.to NVIDIA 发布四个开放 Cosmos 3 仿真模型 dev.to 真实 MCP 客户端击穿我们服务器的五种方式 theverge.com Airbnb 正在开发 AI 旅行 agent,计划 2027 年上半年推出 wechat 这可能是美国AI最魔幻的一天。 nytimes.com 美众议院共和党领袖要求 Nvidia 黄仁勋闭门简报 pub.towardsai.net 忘掉我:为记忆而设计的系统中的删除难题 marktechpost.com Google 发布 Gemini Omni 1.2 Flash:15 秒视频,每秒 0.07 美元 unite.ai Airbnb 计划推出覆盖规划、预订与客服的 AI 旅行 agent techcrunch.com Airbnb 称将于 2027 年上半年推出 AI 旅行代理
多元动态
登录 注册
智能体 dev.to · @Gabriel Anhaia

编码排行榜忽视 AI Agent 新增代码量,Parsimony 将其计入

原文 我的收藏

个人开发者介绍开源基准 Parsimony,主张现有编码基准只衡量任务解决率和 token 成本,未惩罚过度生成代码。该基准统计模型在已解决任务上新增的净代码行数,以反映后续维护成本,并以同一失败测试下两种改法(新增 400 行 vs 修改一处并删除 12 行)说明差异。目前缺少任务集规模与实测数据。

AI推荐理由 介绍开源基准 Parsimony,针对现有编码基准只统计解决率与 token 成本、不惩罚冗余代码的缺口,提出按 agent 净增代码量衡量维护成本。文中给出具体对比案例(400 行 vs 删 12 行)并引用作者 Show HN 原话,信息密度较高;但属个人博客转述,未提供基准规模、任务集和实测结果,效果尚不可验证。

72

正文

当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。

来源报道 · 1 篇 · 以下链接均前往原始媒体

← 返回精选动态 原文

更多内容