算力商业
website ·
小红书联合 NVIDIA 发布 GR-Inference：大 Beam 生成式召回提速 1.5-2.5 倍
小红书与 NVIDIA 联合推出专为“长 Context + 短 Decode + 大 Beam”设计的生成式召回推理引擎 GR-Inference，覆盖 KV 抽象、连续批处理、专用 Decode Attention、受限生成与 CUDA Graph 等优化。在固定 Beam 900 的 SLA 口径下，其峰值吞吐较 SGLang Beam Search 社区实现提升 1.5-2.5 倍，Item-constrained 场景下提升 3.2 倍以上。
AI推荐理由 该引擎针对生成式召回场景的推理优化显著提升性能，对从事推荐系统或大规模推理优化的 AI 从业者具有直接参考价值。
94
正文
当前仅保存了标题或简介；并非所有来源都提供正文，可通过下方原文链接查看。