大模型
dev.to ·
@sean campbell
第 3 天:基准测试也抓到了我
作者在 Kaggle Benchmarking Challenge 中继续其评测实验:同一基准含 200 条自造条目,分 route、classify、judge、ground 四种形状,其中五分之一只能以 ESCALATE 作答;每个模型记录任务分与假自信率两个不合并的指标。第 3 天实现了按“下限”排序的代码(forge-play/Forge#46),并对 12 个托管模型运行。文中列出部分结果,如 Gemini 3.7 Flash 最差任务形状为 ground 0.94、四种形状假自信率均为 0.00,Claude Sonnet 5 最差形状假自信率为 classify 和 judge 的 0.10 等。
AI推荐理由 Kaggle Benchmarking Challenge 系列第 3 天,作者公布对 12 个托管模型按“最差形状任务分”和“最差形状假自信率”排序的结果,并给出 Wilson 区间方法,代码已合入 forge-play/Forge#46。属个人实验记录,样本为 200 条自造条目,结论不可外推为通用模型排名,但评测方法论(不合并任务分与假自信率、按下限排序)对模型评估有参考价值。
62
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。