先路由后检索，但不要相信路由器的置信度

作者复现了一个带结构化输出的 LLM 路由实验：模型需选择检索方案并报告置信度，低于 0.6 时回退到昂贵的混合方案。在三个模型共 150 次路由决策中，0.6 的回退从未触发，但路由器并非总是正确——gpt-4.1 的 32 次决策全部报告 0.95 以上，其中 6 次错误；gpt-4o-mini 从未低于 0.70，3 次高成本错误均报 0.90；gpt-5-mini 最低为 0.86。作者认为结构性检查比概率置信度更可靠。

AI推荐理由 文章基于 150 次路由决策的实测，指出 LLM 路由器的自报置信度普遍偏高：gpt-4.1 在 32 次决策中全部报告 0.95 以上，其中 6 次错误；gpt-4o-mini 的 50 次决策从未低于 0.70，3 次严重错误均报 0.90；gpt-5-mini 最低为 0.86，导致 0.6 的降级阈值从未触发。这对构建 RAG 路由和降级策略的开发者有直接参考价值，但样本规模有限，且属于个人博客实验，结论需谨慎外推。