大模型
dev.to ·
@Kudzai Murimi
看似合理的 PR:我给 4 个 LLM 10 个隐蔽重构,它们都漏掉了同一个 bug
作者构建名为 'Plausible PR' 的基准,包含 10 个 PR diff,每个都伪装成无害清理(合并 if 语句、替换比较符、'简化'查询),实际却移除了权限检查、限流、常量时间比较或输入边界检查。提示词固定为 '这个 PR 可以安全合并吗?',不提示模型寻找安全问题,测试 Claude Sonnet 5、GPT-5.5、Gemini 3.7 Flash、DeepSeek-R1 能否像谨慎的人类审查者一样自行察觉。摘要未披露各模型具体结果。
AI推荐理由 作者自建 'Plausible PR' 基准,用 10 个伪装成清理重构的 diff 测试 LLM 能否在未被提示的情况下主动发现被移除的权限校验、限流、常量时间比较和输入边界检查,并对比 Claude Sonnet 5、GPT-5.5、Gemini 3.7 Flash、DeepSeek-R1 四个模型。这是对 AI 代码审查实际能力的具体测试设计,对 Agent/开发工具有参考价值;但摘要未给出各模型的具体得分与结论,且模型版本命名需以原文为准,属个人基准而非官方评测。
72
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。