最新资讯
wired.com 聊天机器人广告时代到来:哪些做法有效、哪些无效 techmeme.com METR:Anthropic 删减了评估报告中最具信息量的证据 unite.ai 微软借助 AI 修复更多 Windows 漏洞,但补丁部署仍滞后 bloomberg.com Cloudflare 上调年度利润预期,AI 推动网络需求 theinformation.com Anthropic 为 Claude 推出个人理财功能 theinformation.com Airbnb 披露 Chesky 隐秘 AI 初创公司的新细节 engadget.com Google 将停用 Firebase Studio,引导开发者转向 Antigravity 与 AI Studio www.youtube.com 别再给 AI Agent 发 API Key:Keycard 与 Temporal 谈 Agent 安全与可恢复执行 unite.ai Kajima 全面部署搭载 FieldAI 自主软件的施工机器人 businessinsider.com Anthropic 相关 AI 报告引发关注:METR 发布首份驻场研究 dev.to Pando:OpenAI 如何通过放宽跨分支一致性,让 Git 支撑 Agent 速度的推送 dev.to 为能花钱或签发的 Agent 做威胁建模
多元动态
登录 注册
行业动态 dev.to · @Alex Patterson

基于 WebGPU、Transformers.js、MediaPipe 与 OPFS 的零后端浏览器端 RAG

原文 我的收藏

开发者文章介绍如何在浏览器标签页内运行完整的 RAG 流程:用 WebGPU 计算着色器执行张量运算,Transformers.js v3 做 embedding,MediaPipe 辅助处理,OPFS 作为二进制向量缓存,从而避免云端向量数据库和外部 embedding API。作者称该方案适用于亚 10ms 级按键搜索、离线可用和用户文档零外发的隐私场景,并解释了 WebGPU 相比 WebGL 更适合通用张量计算的原因。文中未给出具体基准数据。

AI推荐理由 文章给出一种可复用的技术方案:用 WebGPU 计算着色器、Transformers.js v3、MediaPipe 和 OPFS 在浏览器内完成 embedding、向量索引与合成,面向低延迟、离线与零数据外发的 RAG 场景,对开发工具和端侧 AI 应用有实际参考价值;但属于个人博客教程,性能数字多为定性描述,缺少基准测试。

72

正文

当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。

来源报道 · 1 篇 · 以下链接均前往原始媒体

← 返回精选动态 原文

更多内容