行业动态
website ·
Perplexity 公开搜索排序模型的 GPU serving 研究
Perplexity 的每个回答都始于嵌入和排序模型，为查询挑选最相关的结果。今天他们发布了关于这些模型背后的 SoTA serving 基础设施的研究。
AI推荐理由 Perplexity 公开其 GPU serving 研究，为 AI 从业者提供了构建高性能推理系统的宝贵参考，有助于优化搜索和排序类应用的延迟与吞吐量。
87
浏览 91,926
点赞 416
评论 24
转发 37
正文
Perplexity中的每个答案都始于嵌入和排序模型，为查询选择最相关的结果。
今天，我们发布了关于如何构建这些模型背后的SoTA服务基础设施的研究。
阅读研究：[perplexity.ai/hub/blog/fast-…](https://www.perplexity.ai/hub/blog/fast-embeddings-on-gpus)
查看原文（中文正文为 AI 翻译）
Every answer in Perplexity starts with embedding and ranking models picking the most relevant results for the query.
Today we published research on how we built SoTA serving infrastructure behind those models.
Read the research: [perplexity.ai/hub/blog/fast-…](https://www.perplexity.ai/hub/blog/fast-embeddings-on-gpus)
