智能体
marktechpost.com ·
@Asif Razzaq
Google Cloud 发布 llm-d 1.0，为 TPU 与 GPU 集群引入缓存感知路由
Google、Red Hat 与 IBM 联合发布开源项目 llm-d 1.0，这是一个 Kubernetes 原生的分布式 LLM 推理栈。新版本增加多租户流控、零停机升级，以及跨 vLLM、SGLang、TPU 和 GPU 的缓存感知与 Agent 感知路由。摘要未提供性能基准或部署案例。
AI推荐理由 llm-d 1.0 由 Google、Red Hat、IBM 联合发布，是 Kubernetes 原生的分布式 LLM 推理栈，新增多租户流控、零停机升级和跨 vLLM、SGLang、TPU、GPU 的缓存感知与 Agent 感知路由，对推理基础设施和算力调度有直接参考价值。局限在于信息来自 MarkTechPost 转述，缺少性能数据、版本变更细节和实际部署案例，无法确认这些能力的实测效果。
78
正文
当前仅保存了标题或简介；并非所有来源都提供正文，可通过下方原文链接查看。