最新资讯
stackoverflow.blog 欢迎来到芯片时代:半导体制造、AI 数据中心与芯片设计的未来 www.youtube.com AI Agent 总犯同样的错:CentralAgent AI 将记忆重构为经验系统 pub.towardsai.net Netflix 科学家建议重采样 LLM 评判:5 次仅将误差棒缩小 13% pub.towardsai.net Jev 作为 LLM 前的静默层:构建提示感知的模型路由器 reddit.com OpenAI 称 Astra 仅满足 10% 安全任务标准 dev.to FreeToken:在自有 GPU 上运行前沿 MoE 模型及其内存需求 dev.to 当 AI Agent 说“完成”时,究竟完成了什么? dev.to 部署 Underdog Bark 3.0 Pro:逐字转写、自定义后端与分块设置 dev.to 为艰难对话构建 AI:五个 Agent、一条安全正则与一位盲评监督者 techcrunch.com Palo Alto Networks 洽谈以 5 亿美元收购 AI Agent 安全初创公司 Clutch theinformation.com 黄仁勋被要求就涉华间谍指控向国会作简报 www.infoq.com Edera 推出 Object Capability Bounded Authority,试图将凭证与 AI Agent 工作负载隔离
多元动态
登录 注册
开源工具 vercel.com · @Vercel News

Vercel Sandbox 支持运行 Terminal-Bench 等 Harbor 评测

原文 我的收藏

Vercel 官方 changelog 称,现在可在 Vercel Sandbox 上运行 Harbor 评测。Harbor 是 Terminal-Bench 背后的开源 harness,其注册表还包含 SWE-bench、tau3-bench、OSWorld 等基准。执行 harbor run 时传入 --env vercel,每个 trial 会在独立的 Firecracker microVM 中运行,从而获得远超本地机器的并行能力。任务的网络策略在 VM 之外的沙箱防火墙执行;可选的凭证注入会在该防火墙处把密钥附加到匹配的出站请求,使其不进入沙箱。配合 AI Gateway,一个 AI_GATEWAY_API_KEY 即可访问多家提供商的数百个模型,更换 --model 即可对另一模型跑同一基准。该功能要求 Harbor 0.22.0 或更高版本,官方另提供分步指南与 Sandbox 文档。

AI推荐理由 Vercel 官方 changelog 宣布 Vercel Sandbox 支持运行 Harbor 评测框架(Terminal-Bench 背后的开源 harness,注册表还含 SWE-bench、tau3-bench、OSWorld)。具体新信息:harbor run 加 --env vercel 后每个 trial 在独立 Firecracker microVM 中执行,可并行扩展;网络策略在 VM 外的沙箱防火墙执行,可选凭证注入在防火墙层附加到匹配的出站请求,密钥不进入沙箱;配合 AI Gateway 用同一 AI_GATEWAY_API_KEY 切换 --model 即可换模型评测,需 Harbor 0.22.0+。对 Agent 评测与开发工具链有实际用途,但属产品功能公告,未提供性能数据或独立验证。

72

正文

You can now run Harbor evals on Vercel Sandbox. [Harbor](https://harborframework.com) is the open-source harness behind [Terminal-Bench](https://www.tbench.ai/), whose registry includes many other benchmarks such as SWE-bench, tau3-bench and OSWorld. Pass `--env vercel` to `harbor run` and each trial executes in its own isolated Firecracker microVM, so you can parallelize far beyond what your local machine is capable of. A task's network policy is enforced at the sandbox firewall, outside the VM. Optional credential injection attaches secrets to matching outbound requests at that firewall, so they never enter the sandbox. Paired with [AI Gateway](https://vercel.com/docs/ai-gateway), one `AI_GATEWAY_API_KEY` reaches hundreds of models from multiple providers, and benchmarking another model is the same command with a different `--model`: Swap `--model` to `vercel_ai_gateway/openai/gpt-5.6-luna` to run the same benchmark against an OpenAI model. Requires Harbor `0.22.0` or later. Follow the [step-by-step guide](https://vercel.com/kb/guide/run-terminal-bench-harbor-benchmarks-vercel-sandbox) for setup, configuration, and troubleshooting. Learn more in the [Sandbox documentation](https://vercel.com/docs/sandbox/ecosystem/harbor). [Read more](https://vercel.com/changelog/run-terminal-bench-and-other-harbor-evals-on-vercel-sandbox)

来源报道 · 1 篇 · 以下链接均前往原始媒体

← 返回精选动态 原文

更多内容