关键词式评测会“放行”失败：面向小模型工具调用声明的低成本诊断阶梯

论文记录了一对共享架构的西班牙语安全模型在工具调用评测中的假阳性：661.6M 模型（约 65% 代码/技术文本，无专门 SFT）与 1,109M 模型（网页为主的多阶段课程，6B token 工具 SFT）在宽松指标上得分接近（B4 0.660 vs 0.650）。逐字复现检查将二者完全区分：600M 在 6/6 样例上生成带泛化参数的有效工具调用，1B 在 0/6 上做到。首 token 探针把 1B 的失败定位为 <|tool_call|> 先验缺失（概率 10^-4–10^-5），该先验被其网页为主训练阶段抹除；随后用多样化语料、5 倍学习率、2,202 步、约 3.3 GPU 小时的目标 SFT 修复。作者据此提出一套严格且低成本的诊断阶梯。

AI推荐理由 论文指出关键词匹配式工具调用评测会产生假阳性：一对共享解码器、分词器和特殊 token 的西班牙语安全模型（661.6M 与 1,109M）在宽松工具调用指标上几乎相同（B4 0.660 vs 0.650），但在训练样例逐字复现检查中，600M 在 6/6 样例上生成带泛化参数的有效工具调用，1B 在 0/6 上做到；首 token 探针将 1B 的失败定位到 <|tool_call|> 先验缺失（概率 10^-4–10^-5），该先验被其网页为主的多阶段训练抹除，随后用约 3.3 GPU 小时的目标 SFT 修复。提供了具体诊断阶梯和可复现证据，对 Agent 工具调用评测与训练数据配比有实际参考价值；局限是仅限小模型与西班牙语安全场景，结论外推需谨慎。