当基准出错：三种看似模型失败的误差

作者让独立的第二、第三标注者重新标注 500 对产品，发现 16 处标注错误、49 处约定争议，以及一个训练无法解决的问题：某本地模型在训练分布外的目录上过度匹配，三个训练种子对相同标签的匹配判定一致率仅 59%。文章主张在投入更多算力纠正模型前，先判断错误出在模型、标注还是“匹配”的定义上。

AI推荐理由 作者让第二、第三标注者重标 500 对产品，发现 16 处标注错误、49 处约定争议，以及模型在不同训练种子下对训练分布外目录过度匹配、一致率仅 59% 的不稳定问题。提出在归咎模型前先区分错误来自模型、标注还是匹配定义，对评测与数据标注实践有具体价值；属个人实验，样本与场景有限。