更便宜的 AI 模型为何反而更贵：Vals AI 谈基准与评测

Vals AI 的 Rayan Krishnan 在 AI Engineer 演讲中指出，模型卡上的单一基准分数掩盖了任务间的“锯齿状前沿”，金融等任务中最佳模型因任务而异；纸面更便宜的模型可能因消耗更多 token 而成本更高、得分更低。他分享构建基准的经验（准确率指标选择、奖励黑客、多轮任务），并举例某团队月耗 150 万美元 token 后借助内部评测将支出削减约 90%，强调企业自身工作历史是最好的评测集。

AI推荐理由 Vals AI 的 Rayan Krishnan 讨论基准测试的“锯齿状前沿”：单一分数掩盖任务间差异，金融任务中最佳模型随任务变化，纸面更便宜的模型可能因消耗更多 token 而实际更贵。内容包含构建基准的经验（正确准确率指标、奖励黑客、多轮任务）和一个团队月耗 150 万美元 token 后通过内部评测削减约 90% 支出的案例，对 AI 应用选型和评测实践有参考价值。但为访谈视频，具体数据未在摘要中给出可核验细节。