ModelSphere 发布开源 LLM 部署平台，面向混合 GPU 集群

Phancy Group 与 RiseUnion 推出开源 LLM 部署平台 ModelSphere，已在 GitHub 以 Apache 2.0 协议发布。项目定位为生产级模型服务控制面，基于 Kubernetes、Helm、SGLang 和 vLLM，而非新模型或聊天应用。其 README 列出自动扩缩容、缓存感知请求路由、共享 KV 缓存、多种加速器支持，以及服务中断后恢复在途生成等能力，但这些均为项目自述，尚无独立基准验证。快速上手需 Kubernetes 集群及 kubectl、Helm、helmfile、helm-diff，代价是增加一层运维负担。Reddit 检索未发现当前关于 ModelSphere 的讨论，产品反馈仍处早期。

AI推荐理由 Phancy Group 与 RiseUnion 发布开源 LLM 部署平台 ModelSphere，采用 Apache 2.0，面向 Kubernetes、Helm、SGLang、vLLM 的生产级服务，README 列出自动扩缩容、缓存感知路由、共享 KV 缓存、多加速器支持及中断后恢复在途生成等能力。需注意这些均为项目自述，非独立基准结果；快速上手还需 kubectl、Helm、helmfile、helm-diff 等，增加运维层。Reddit 上暂无相关讨论，社区反馈尚早。