论文研究
dev.to ·
@Faisal Ahmad
我让 AI 模型构建 Web 应用,多数在页面里塞了个假服务器
Kaggle Benchmarking Challenge 参赛项目 RealityBench:给模型 12 个小 Web 应用的需求规格,用无头浏览器模拟真实用户行为——服务器返回 500 或 409“名额已被占用”、用户双击支付、提交空表单、负数数量或上传 .exe 而非 PDF、仅用键盘操作、375px 手机屏幕。每个页面得到 Demo(正常路径可用且主操作真正到达服务器)和 Reality(上述异常条件下仍可用)两个 0–100 分,评分只计用户可见结果。作者称多数 AI 生成的页面把假服务器写在页面内,首版基准容易被钻空子。
AI推荐理由 RealityBench 用无头浏览器对 AI 生成的 12 个小 Web 应用做真实用户行为测试(500/409 响应、双击支付、空表单、负数数量、错误文件类型、纯键盘操作、375px 屏幕),并给出 Demo 与 Reality 两个 0–100 分,指出多数模型把“假服务器”写进页面。这是对 AI 编码能力可验证的负面证据,对评估 AI 生成代码的可靠性有实际价值;局限是正文未给出完整模型排名与样本量。
72
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。