行业动态
pub.towardsai.net ·
@Cameron Jagoe
我微调本地模型以匹配托管模型,但实验未能复现
作者用 11,010 条人工审核样本微调自托管 Laya 模型,在第二个客户的真实流水线输出上达到托管模型的精度区间,但仍漏掉一类规则型匹配。预注册的规则注入重训在不同随机种子下结果相反:一个种子使冻结样本池召回下降 21.9 点,另一个种子提升 4.9 点,实验未能复现。作者结论是微调在该客户数据上有效,但规则注入未奏效。
AI推荐理由 作者用同一批 11,010 条人工审核样本微调自托管模型,在第二个客户真实流水线输出上达到托管模型的精度区间,但预注册的规则注入实验在不同训练种子下结果相反(一次召回下降 21.9 点,另一次提升 4.9 点),作者明确承认实验未能复现。这是少见的公开负面/不稳定结果,对微调实践有参考价值;局限是单一客户数据、样本量有限,结论不能外推。
72
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。