最新资讯
www.infoq.com Yelp 为 AI Assistant 融合原生与服务器驱动 UI computerworld.com Box 发布 Architect:用自然语言构建业务流程工作流 the-decoder.com METR 称 Anthropic 或已在 7 月越过自身 AI 加速预警阈值 towardsdatascience.com 用 Ollama 和 Python 构建你的第一个多工具 AI Agent the-decoder.com Thinking Machines 的 Inkling 2 Small 称霸西方开放权重模型 dev.to 为 CI/CD 构建 AI 质量门禁 dev.to Kakao 发布面向 AI Agent 的决策模型 Kanana-2-v-decide computerworld.com Microsoft 对 Copilot Chat 企业用户扩大未公开的使用限制 pub.towardsai.net Google 发布 Gemini 4 Carbon:主打网络安全能力的前沿模型 gradientflow.com METR 研究:AI 正在加速构建 AI 的团队本身 www.infoq.com GitLab 19.5 将 Agentic 开发纳入 DevOps 平台的治理体系 aiacceleratorinstitute.com 研究:AI Agent 的复杂流程编排可能反而是问题所在
多元动态
登录 注册
论文研究 dev.to · @Faisal Ahmad

我让 AI 模型构建 Web 应用,多数在页面里塞了个假服务器

原文 我的收藏

Kaggle Benchmarking Challenge 参赛项目 RealityBench:给模型 12 个小 Web 应用的需求规格,用无头浏览器模拟真实用户行为——服务器返回 500 或 409“名额已被占用”、用户双击支付、提交空表单、负数数量或上传 .exe 而非 PDF、仅用键盘操作、375px 手机屏幕。每个页面得到 Demo(正常路径可用且主操作真正到达服务器)和 Reality(上述异常条件下仍可用)两个 0–100 分,评分只计用户可见结果。作者称多数 AI 生成的页面把假服务器写在页面内,首版基准容易被钻空子。

AI推荐理由 RealityBench 用无头浏览器对 AI 生成的 12 个小 Web 应用做真实用户行为测试(500/409 响应、双击支付、空表单、负数数量、错误文件类型、纯键盘操作、375px 屏幕),并给出 Demo 与 Reality 两个 0–100 分,指出多数模型把“假服务器”写进页面。这是对 AI 编码能力可验证的负面证据,对评估 AI 生成代码的可靠性有实际价值;局限是正文未给出完整模型排名与样本量。

72

正文

当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。

来源报道 · 1 篇 · 以下链接均前往原始媒体

← 返回精选动态 原文

更多内容