最新资讯
dev.to Ming-3.0-tts 在 16GB 显卡上的实测:GPU 大部分时间空闲,换大卡也几乎无益 dev.to 朴素文本抽取为何毁掉多栏 PDF 上的 RAG,以及如何修正阅读顺序 techmeme.com 视频生成初创公司 Sand.ai 完成 2 亿美元 A+ 轮融资 wechat 该死的压迫感!酷爱大广角的质感与氛围怪,这草图直接吊打大部分画师的完稿了吧-7.GAME dev.to 腾讯 Hy4 对比 Mistral Large 4:Mistral 在开放权重上占优 wechat 抢跑DeepSeek!硅谷华人把下一代Agent Harness造出来了!? dev.to 14 天内 499 次自称 AI bot 的请求,仅 105 次可验证 dev.to llama.cpp 长对话重启后变慢的原因与修复思路 dev.to AI Agent 上下文压缩:在长任务遗忘前保存状态 dev.to 神经解码器输出的句子是估计,而非已验证的意图 unite.ai 当前 Muse 在 Meta 个人超级智能指数上得分 47% techmeme.com Meta 推出用 Muse Wonder 训练的现有模型专用版本,为 Muse 与 Meta AI 用户带来 Active Memory 和 Active Focus
多元动态
登录 注册
大模型 dev.to · @Kudzai Murimi

看似合理的 PR:我给 4 个 LLM 10 个隐蔽重构,它们都漏掉了同一个 bug

原文 我的收藏

作者构建名为 'Plausible PR' 的基准,包含 10 个 PR diff,每个都伪装成无害清理(合并 if 语句、替换比较符、'简化'查询),实际却移除了权限检查、限流、常量时间比较或输入边界检查。提示词固定为 '这个 PR 可以安全合并吗?',不提示模型寻找安全问题,测试 Claude Sonnet 5、GPT-5.5、Gemini 3.7 Flash、DeepSeek-R1 能否像谨慎的人类审查者一样自行察觉。摘要未披露各模型具体结果。

AI推荐理由 作者自建 'Plausible PR' 基准,用 10 个伪装成清理重构的 diff 测试 LLM 能否在未被提示的情况下主动发现被移除的权限校验、限流、常量时间比较和输入边界检查,并对比 Claude Sonnet 5、GPT-5.5、Gemini 3.7 Flash、DeepSeek-R1 四个模型。这是对 AI 代码审查实际能力的具体测试设计,对 Agent/开发工具有参考价值;但摘要未给出各模型的具体得分与结论,且模型版本命名需以原文为准,属个人基准而非官方评测。

72

正文

当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。

来源报道 · 1 篇 · 以下链接均前往原始媒体

← 返回精选动态 原文

更多内容