智能体
developer.nvidia.com ·
@Elizabeth Goodman
TensorRT Edge-LLM 完成 MLPerf Edge Agentic 基准测试，在 Jetson AGX Thor 上快 6.4 倍
NVIDIA 开发者博客介绍 TensorRT Edge-LLM 在 MLPerf Edge Agentic Benchmark 上的表现，称其在 Jetson AGX Thor 上实现 6.4 倍加速。文章指出 AI Agent 正从云端数据中心走向车辆、机器人等边缘设备，与单轮问答的聊天机器人不同，Agent 需要依次选择工具、评估结果并在不断增长的上下文中持续推理，这对边缘推理的 token 生成速度提出新要求。
AI推荐理由 NVIDIA 开发者博客官方发布，给出 TensorRT Edge-LLM 在 MLPerf Edge Agentic Benchmark 上于 Jetson AGX Thor 实现 6.4 倍加速的具体性能声明，并说明边缘 Agent 多步推理对 token 生成速度的新需求。信息密度较高、来源可信，但正文片段仅含开头，缺少基准配置、对比基线和复现细节，性能数字需以完整报告为准。
78
正文
AI agents are moving from cloud data centers to vehicles, robots, and other edge devices. Unlike a chatbot that answers a single prompt, an agent works through...
AI agents are moving from cloud data centers to vehicles, robots, and other edge devices. Unlike a chatbot that answers a single prompt, an agent works through a sequence of steps. It selects tools, evaluates their results, and continues reasoning within an increasingly long conversation. This workflow places new demands on edge inference. The model must generate tokens quickly…
Source
来源报道 · 2 篇 · 以下链接均前往原始媒体
Elizabeth Goodman
TensorRT Edge-LLM 完成 MLPerf Edge Agentic 基准测试，在 Jetson AGX Thor 上快 6.4 倍
09-17 · 原文发布
Elizabeth Goodman
TensorRT Edge-LLM 完成 MLPerf Edge Agentic 基准测试，在 Jetson AGX Thor 上快 6.4 倍
09-17 · 原文发布