最新资讯
reddit.com OpenAI 称 Astra 仅满足 10% 安全任务标准 dev.to FreeToken:在自有 GPU 上运行前沿 MoE 模型及其内存需求 dev.to 当 AI Agent 说“完成”时,究竟完成了什么? dev.to 部署 Underdog Bark 3.0 Pro:逐字转写、自定义后端与分块设置 dev.to 为艰难对话构建 AI:五个 Agent、一条安全正则与一位盲评监督者 techcrunch.com Palo Alto Networks 洽谈以 5 亿美元收购 AI Agent 安全初创公司 Clutch theinformation.com 黄仁勋被要求就涉华间谍指控向国会作简报 www.infoq.com Edera 推出 Object Capability Bounded Authority,试图将凭证与 AI Agent 工作负载隔离 wechat 这波杀疯了!旗舰级模型不限量、1个月视频额度免费领 bloomberg.com AI 抛售蔓延至信用市场,软银领跌亚洲美元债 dev.to 如何在专用 GPU 服务器上用 OpenAI 兼容 API 部署 LLM dev.to 审计 153 份 Claude Code 与 Codex 会话记录:User-Agent 与 URL 中的邮箱泄露
多元动态
登录 注册
大模型 dev.to · @sean campbell

第 3 天:基准测试也抓到了我

原文 我的收藏

作者在 Kaggle Benchmarking Challenge 中继续其评测实验:同一基准含 200 条自造条目,分 route、classify、judge、ground 四种形状,其中五分之一只能以 ESCALATE 作答;每个模型记录任务分与假自信率两个不合并的指标。第 3 天实现了按“下限”排序的代码(forge-play/Forge#46),并对 12 个托管模型运行。文中列出部分结果,如 Gemini 3.7 Flash 最差任务形状为 ground 0.94、四种形状假自信率均为 0.00,Claude Sonnet 5 最差形状假自信率为 classify 和 judge 的 0.10 等。

AI推荐理由 Kaggle Benchmarking Challenge 系列第 3 天,作者公布对 12 个托管模型按“最差形状任务分”和“最差形状假自信率”排序的结果,并给出 Wilson 区间方法,代码已合入 forge-play/Forge#46。属个人实验记录,样本为 200 条自造条目,结论不可外推为通用模型排名,但评测方法论(不合并任务分与假自信率、按下限排序)对模型评估有参考价值。

62

正文

当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。

来源报道 · 1 篇 · 以下链接均前往原始媒体

sean campbell 第 3 天:基准测试也抓到了我 10-03 · 原文发布
← 返回精选动态 原文

更多内容