智能体
dev.to ·
@mech.app
LLM Fuzz CI:用持续模糊测试 Agent 在上线前发现安全缺陷
该文介绍 LLM Fuzz CI 工具:Agent 读取源码、被标记的测试及其断言逻辑,生成可能使现有断言失败的对抗性输入,再由原有测试套件回放,仅报告真实的断言失败,从而避免静态分析告警和误报。工具以 GitHub Action 形式运行,开发者用装饰器标记测试并设置花费上限(如 budget_usd=5)。文中称 Agent 不生成新断言,只针对已有断言构造输入。目前缺乏可验证的误报率、基准测试或实际部署效果数据。
AI推荐理由 介绍一种将 LLM Agent 用于持续模糊测试的思路:Agent 读取源码、被标记的测试及其断言,生成旨在触发断言失败的对抗性输入,再由现有测试套件回放,仅报告真实断言失败,并以 GitHub Action 形式运行、可设预算上限。其具体新意在于用现有断言作为判定标准以降低误报,对开发工具与安全测试有参考价值。但正文为作者自述,未提供可验证的基准数据、误报率或实际部署效果,'无静态分析告警、无 CVE 噪声、无误报'等表述缺乏证据支撑,且工具成熟度与可靠性未知,故质量分中等。
62
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。