大模型
marktechpost.com ·
@Michal Sutter
Prime Intellect 推出 Prime Inference：面向前沿开源模型的 Serverless 与预留服务
Prime Intellect 发布 OpenAI 兼容平台 Prime Inference，在 NVIDIA Blackwell 上服务前沿开源模型。其 GLM-5.3 部署采用 Dynamo、vLLM 和 NVFP4 KV 压缩，每 prefill 组支持 66 个会话，每用户 101 tok/s。
AI推荐理由 Prime Intellect 推出 OpenAI 兼容的 Prime Inference 平台，面向 NVIDIA Blackwell 上的前沿开源模型，给出 GLM-5.3 部署使用 Dynamo、vLLM、NVFP4 KV 压缩，每 prefill 组 66 会话、每用户 101 tok/s 等具体指标。对开源模型推理服务与算力部署有参考价值，但来源为技术博客转述，需以官方信息为准。
72
正文
当前仅保存了标题或简介；并非所有来源都提供正文，可通过下方原文链接查看。