把 AI 接入数十亿法律文档——turbopuffer 的 Simon Eskildsen 与 Legora 的 Jacob Lauritzen

Legora 的搜索延迟曾从 P99 100 毫秒恶化到 20 秒，原因是文档分块被切分到 4000 个分区后，已不再访问的旧项目与活跃项目落入同一分区，查询反复将大分区拉入内存并驱逐缓存。迁移路径为：先单一搜索集群，再按区域拆分以满足三大洲客户的本地处理要求，随后迁入团队已有的通用数据库并在此失效；最终以项目为存储单元、每个项目一个 namespace，使闲置项目留在对象存储中几乎不产生成本。turbopuffer 的 Simon Eskildsen 进一步说明这种以 namespace 为原子的结构为何适合受监管客户。

AI推荐理由 Legora 与 turbopuffer 的工程复盘给出具体故障与迁移路径：搜索延迟 P99 从 100 毫秒恶化到 20 秒，根因是文档分块被切分到 4000 个分区后，已停止访问的旧项目与活跃项目落入同一分区，导致查询反复把大分区拉入内存并驱逐缓存；迁移经历单一搜索集群、按区域拆分，再到通用数据库后失效，最终以项目为存储单元、每个项目一个 namespace，使闲置项目留在对象存储中近乎零成本。对检索系统分片与多租户存储设计有参考价值，但为单一团队经验，未给出通用基准。