智能体
x.com ·
@LangChain(@LangChainAI)
LangChain 称 Jev 作为 agent 评测裁判优于 GPT-5.6 与 Claude Sonnet 4.6
LangChain 表示将 Jev 与 GPT-5.6 Luna、GPT-5.6 Terra 和 Claude Sonnet 4.6 作为 agent-eval 裁判进行对比测试。其称 Jev 在每次判定上与人类评审一致，方差最多低 913 倍，单次调用 0.44 秒，而对比 LLM 为 2.16–2.83 秒；整轮成本 Jev 为 0.34 美元，Claude Sonnet 4.6 为 28.17 美元。
AI推荐理由 LangChain 官方账号称其 Jev 在 agent-eval 评审任务中与人类评审一致，方差更低、延迟更短、成本远低于对比 LLM，并给出具体数字；但未说明评测规模、数据集与统计方法，结论需谨慎看待。
66
正文
We tested Jev against GPT-5.6 Luna, GPT-5.6 Terra, and Claude Sonnet 4.6 as agent-eval judges.
✅ Jev matched a human reviewer on every call, with up to 913x lower variance, at 0.44s per call vs 2.16-2.83s for the LLMs.
✅ Cost for the full run: $0.34 with Jev. $28.17 with Claude Sonnet 4.6.
💬0🔄1❤️5👀729📊1