行业动态
website ·
Milvus 3.0 Spark Connector 新增离线向量回填
Milvus 3.0 Spark Connector 新增离线向量回填功能，通过快照固定元数据，Spark 按主键连接现有行，仅重建目标列，每个段独立执行、验证、重试和审计，避免与生产流量竞争，并支持模式版本拒绝过期输出。
AI推荐理由 该功能解决了大规模向量数据更新的痛点，为AI应用中的向量索引维护提供了高效、可控的离线方案。
85
浏览 254
点赞 2
评论 0
转发 0
正文
您的Spark作业已完成生成embedding\_v2。
现在您需要将其添加到Milvus中数亿条现有记录中——而不减慢实时写入。
将Parquet输出作为数百万次upsert发送，会迫使离线作业与生产流量竞争网络、计算和写入容量。如果中途失败，跟踪和重试未完成的工作是另一个问题。
𝗠𝗶𝗹𝘃𝘂𝘀 𝟯.𝟬 𝗦𝗽𝗮𝗿𝗸 𝗖𝗼𝗻𝗻𝗲𝗰𝘁𝗼𝗿 中的𝗕𝗮𝗰𝗸𝗳𝗶𝗹𝗹 使该工作保持离线：
→ 快照固定模式、段布局和存储元数据。
→ Spark将Parquet输出与现有行按主键连接。
→ 仅重建目标列，同时保持行对齐。
→ 每个段成为执行、验证、重试和审计的独立单元。
结果还携带其模式版本，因此过时的输出可以在提交前被拒绝。
目标不是更快的upsert。
这是一个受控的路径，用于发布embedding\_v2，而不会将生产[milvus.io/blog/announcin…](https://milvus.io/blog/announcing-milvus-3-lake-native-vector-search-and-a-more-powerful-retrieval-engine.md#5-Online-schema-changes-and-backfill)e迁移引擎。
了解更多：
查看原文（中文正文为 AI 翻译）
Your Spark job has finished generating embedding\_v2.
Now you need to add it to hundreds of millions of existing records in Milvus—without slowing down live writes.
Sending the Parquet output back as millions of upserts forces the offline job to compete with production traffic for network, compute, and write capacity. If it fails halfway, tracking and retrying the unfinished work is another problem.
𝗕𝗮𝗰𝗸𝗳𝗶𝗹𝗹 𝗶𝗻 𝘁𝗵𝗲 𝗠𝗶𝗹𝘃𝘂𝘀 𝟯.𝟬 𝗦𝗽𝗮𝗿𝗸 𝗖𝗼𝗻𝗻𝗲𝗰𝘁𝗼𝗿 𝗸𝗲𝗲𝗽𝘀 𝘁𝗵𝗮𝘁 𝘄𝗼𝗿𝗸 𝗼𝗳𝗳𝗹𝗶𝗻𝗲:
→ A snapshot pins the schema, segment layout, and storage metadata.
→ Spark joins the Parquet output to existing rows by primary key.
→ Only the target columns are rebuilt, while row alignment is preserved.
→ Each segment becomes an independent unit for execution, validation, retry, and audit.
The result also carries its schema version, so stale output can be rejected before submission.
The goal isn’t faster upserts.
It’s a controlled path for publishing embedding\_v2 without turning the produc[milvus.io/blog/announcin…](https://milvus.io/blog/announcing-milvus-3-lake-native-vector-search-and-a-more-powerful-retrieval-engine.md#5-Online-schema-changes-and-backfill)e migration engine.
Learn more:
