智能体
x.com ·
@shao__meng
Perplexity 发布 Agentic RAG 检索基准 Q2D-Web，含 1.9 亿文档与 13 个模型评测
Perplexity 推出 Q2D-Web（Query2Doc-Web）基准与公开榜单，用于评测 Agentic RAG 系统的第一阶段检索。语料约 1.9 亿网页文档，查询来自 23000 次隐私处理后的生产搜索、共 69721 条智能体改写查询，每条查询平均约 99.6 个正例标注，并设 Citation、Web Ranking、Combined 三套标注集。为降本采用子语料采样（RRF 采样仅用 31.7% 文档，召回率虚高约 4.5 个百分点），评测分两级漏斗。13 个模型结果显示：pplx-embed-v1-4b 在 Web Ranking（65.73）与 Combined（69.11）Recall@1000 领先，Nemotron-3-Embed-8B 在 Citation 领先（61.68）并在 Combined nDCG@10 反超（47.44 对 45.84）；同系列更大模型 Recall@1000 一致更高；稀疏 BM25 仅 44–45。
AI推荐理由 Perplexity 发布面向 Agentic RAG 第一阶段检索的大规模基准 Q2D-Web，含 1.9 亿网页文档、约 7 万条智能体改写查询、每查询平均约 100 个正例标注，并公布 13 个检索模型评测结果。信息密度高、有官方博客与 arXiv 论文链接、方法论（三套标注、RRF 子语料采样、两级评测漏斗）与具体指标（Recall@1000、nDCG@10）明确，对检索与 Agent 系统评测有直接参考价值。局限：数据来自 X 转述，未独立核验论文与榜单；互动量仅作传播信号。
88
浏览 777
点赞 7
评论 3
转发 3
正文
Perplexity 发布了一个面向 Agentic RAG 系统第一阶段检索的大规模基准 Q2D-Web
1.9 亿网页文档、近 7 万条真实智能体改写的查询、每条查询平均约 100 个正例标注；并公布了 13 个主流检索模型的评测结果。
Perplexity 工程博客
[perplexity.ai/hub/blog/q2d-w…](https://www.perplexity.ai/hub/blog/q2d-web)
Q2D-Web 论文
[arxiv.org/abs/2609.08887](https://arxiv.org/abs/2609.08887)
# 为什么需要这个基准：三个系统性缺陷
现有检索评测的三个盲区，以往基准最多解决一两个，Q2D-Web 同时扩展了全部三个：
· 语料太小 → 召回虚高。 生产检索面对的是海量“话题相关但缺关键细节”的强干扰文档；缩小语料等于删掉干扰项，指标自然好看。
· 标注太稀 → 好模型被冤枉。 MS MARCO 的人工抽查显示，70% 被检索到但未标注的段落其实相关。稀疏标注会把检索能力强误判为不相关。
· 查询不对 → 评测失真。 现有基准用人类写的查询，而 Agentic RAG 里真正发给检索器的是智能体改写后的查询，措辞和具体性都不同。
对比：最接近的 MS MARCO Web Search 是1 亿文档 / 9 千查询 / 每查询 1 个正例；Q2D-Web 是1.9 亿文档 / 7 万智能体查询 / 每查询平均 99.6 个正例；三个维度同时放大一到两个数量级。
# 基准是怎么构建的？
查询：来自 23000 次经过隐私处理的 Perplexity 生产搜索（9 个月、10 种语言，英语占 65.8%），共 69721 条智能体改写查询。一次“搜索”指智能体为一条用户消息发起的全部搜索工具调用，其中含一条主查询（复述用户需求）和若干支撑查询（换个说法、补背景、查相关实体），每条独立评测。隐私处理包括仅使用授权用户数据、PII 检测过滤，并剔除精确重复、过短、含搜索运算符（site:、引号短语）的查询。
语料：对每个查询取生产系统检索的 top 5,000 文档取并集，经 MinHash–LSH 去重（5-gram Jaccard ≥ 0.975 聚簇），得到约 1.9 亿文档。关键设计：这不是随机网页抽样，每个文档都曾是某条查询的合理候选——刻意保留了“主题匹配但缺少日期/实体/版本/数量等关键要素”的难干扰项。
三套标注集（这是方法论上最讲究的部分，用多套标注互相制衡单一管线的偏差）：
· Citation：智能体回答中实际引用的文档
· Web Ranking：内部 BM25+稠密检索、交叉编码重排后的 top 50
· Combined：前两者并集 + LLM 补判
# 降本工程：子语料采样
全量评测极其昂贵：pplx-embed-v1-4b 一次需 4,608 H200 GPU 小时。他们的解决方案是保留全部正例文档、只对未标注干扰项做采样，比较了随机采样、固定深度池化和按查询 RRF 三种策略。结果是 RRF 采样只用 31.7% 的文档就能保住全量语料上的模型排序，召回率仅虚高 4.5 个百分点（同规模随机采样虚高 11.1 个点），成本降到约三分之一（pplx-embed-v1-4b 降至约 1,500 GPU 小时，EmbeddingGemma-300M 降至 70 以内）。
实际评测流程因此是两级漏斗：所有提交模型先在子语料上评测（按参数量分 ≤1B 和 >1B 两组），只有进入本组前十的模型才获得全量语料评测。
# 评测结果：没有全能冠军
13 个模型、三套标注、两个指标（Recall[@1000](https://x.com/1000) 为主指标——第一阶段只需把相关文档捞进候选池，排序交给重排器；nDCG[@10](https://x.com/10) 为辅）。关键发现：
· Recall[@1000](https://x.com/1000)：pplx-embed-v1-4b 在 Web Ranking（65.73）和 Combined（69.11）上领先；Nemotron-3-Embed-8B 在 Citation 上领先（61.68）。
· Combined nDCG[@10](https://x.com/10) 上排序反转：Nemotron-3-Embed-8B（47.44）反超 pplx-embed-v1-4b（45.84）——Perplexity 自家模型在自己流量来源的基准上并非全面第一。
· 规模效应稳定：同系列内更大模型在 Combined Recall[@1000](https://x.com/1000) 上一致更高（Qwen3-Embedding 0.6B→8B：57.89→64.53；Nemotron 1B→8B：61.68→68.58；pplx-embed 0.6b→4b：67.02→69.11）。
· 稀疏 BM25（tantivy 实现）的 Recall[@1000](https://x.com/1000) 只有 44–45，与稠密模型差距明显；但这是 512 token 截断、1.9 亿文档难干扰项下的结果。
Perplexity@perplexity\_ai
We're introducing Q2D-Web (Query2Doc-Web), a benchmark and public leaderboard for evaluating retrieval in agentic RAG systems.
Q2D-Web tests how embedding models perform on large-scale web search using agent-reformulated search queries.
Read more: [perplexity.ai/hub/blog/q2d-w…](https://www.perplexity.ai/hub/blog/q2d-web)
[🔗 View Quoted Tweet](https://x.com/perplexity_ai/status/2097782467210166601)