大模型
x.com ·
@Cognition(@cognition_labs)
Cognition 补充 GPT-6 Sol/Luna 在 Devin 中的评测细节
Cognition 称在自身评测中，GPT-6 Sol 达到同等分数所需读取的上下文比 GPT-5.6 Sol 少约 17%，且最后一次编辑后很少留下测试失败的仓库；GPT-6 Luna 的主要提升出现在低与中等推理强度下，会编写真实回归测试而非基于 mock 的测试。相关结论来自厂商自测。
AI推荐理由 补充了 Devin 场景下的评测细节：GPT-6 Sol 达到同等分数所需上下文比 GPT-5.6 Sol 少约 17%，且最后一次编辑后较少留下测试失败的仓库；Luna 在低/中推理强度下会写真实回归测试而非 mock。属于厂商自测观察，但提供了可讨论的工程行为差异。
70
正文
In our evaluations, we see that GPT-6 Sol reads about 17% less context than GPT-5.6 Sol to reach the same score, and rarely leaves a repo with failing tests after its last edit. GPT-6 Luna’s biggest gains are at low and medium reasoning effort, where it writes real regression tests instead of mock-based ones.
Read more: [devin.ai/blog/gpt-6-sol…](https://devin.ai/blog/gpt-6-sol-luna)
💬1🔄0❤️7👀1017📊2