大模型
dev.to ·
@Josh Hodgetts
我们删掉了 LLM 输入的 98.77%,准确率反而上升
Jylus 创始人称其用 528 道题的冻结基准,在相同 Gemini 3.1 Flash Lite 设置和确定性评分器下比较三种证据供给方式:全上下文平均输入 205,129 token、严格准确率 78.79%;BM25-only RAG 输入 8,128 token、准确率 76.14%;Jylus Context Pack 输入 2,532 token、准确率 100%。作者指出仅减少 token 并不能解决问题,但未说明证据准备中哪一环节导致差异。
AI推荐理由 Jylus 创始人公布 528 题冻结基准,对比全上下文、BM25-only RAG 与 Jylus Context Pack 三种证据供给方式,报告输入 token 减少 98.77% 且严格准确率更高,对 RAG 上下文工程有直接参考价值;但属厂商自测,未披露评分细节与可复现材料,结论需谨慎看待。
68
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。