最新资讯
dev.to 银行 77 意图分类最便宜 LLM:GPT-6.1 Terra 每次成功任务 $0.000727 theinformation.com Chesky的副业:Airbnb向CEO新设AI实验室出售IP theverge.com OpenAI 宣布数据中心项目不再与公职人员签署保密协议 dev.to NVIDIA 发布四个开放 Cosmos 3 仿真模型 dev.to 真实 MCP 客户端击穿我们服务器的五种方式 theverge.com Airbnb 正在开发 AI 旅行 agent,计划 2027 年上半年推出 wechat 这可能是美国AI最魔幻的一天。 nytimes.com 美众议院共和党领袖要求 Nvidia 黄仁勋闭门简报 pub.towardsai.net 忘掉我:为记忆而设计的系统中的删除难题 marktechpost.com Google 发布 Gemini Omni 1.2 Flash:15 秒视频,每秒 0.07 美元 unite.ai Airbnb 计划推出覆盖规划、预订与客服的 AI 旅行 agent techcrunch.com Airbnb 称将于 2027 年上半年推出 AI 旅行代理
多元动态
登录 注册
大模型 dev.to · @Alfred Odong

我把七个 LLM 装进 U 盘,记录下所有出问题的地方

原文 我的收藏

作者尝试实现“插入 U 盘、双击一个文件即可在任意电脑上运行真实语言模型,无需账号、联网或安装,拔掉后不留痕迹”。底层依赖 llamafile 和 llama.cpp,难点不在 AI 本身,而在于各操作系统对从 U 盘运行程序的隐性限制。文中给出具体案例:Windows 上 llama-server.exe 启动后无输出、无窗口并以退出码 0 结束,实际原因是缺少 MSVCP140.dll、VCRUNTIME140.dll 和 VCRUNTIME140_1.dll 三个运行时库。作者称每个问题都在真实硬件上复现并附有修复方案。

AI推荐理由 文章记录在 U 盘上运行七个本地 LLM 的实操踩坑,基于 llamafile 和 llama.cpp,具体给出 Windows 上 llama-server.exe 因缺少 MSVCP140.dll、VCRUNTIME140.dll、VCRUNTIME140_1.dll 而以退出码 0 静默退出的案例,属于可复现的工程经验。对做本地推理、离线部署和跨平台分发的开发者有直接参考价值。局限是正文仅展示第一个问题,其余问题未在片段中给出,且未提供性能或模型质量数据。

70

正文

当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。

来源报道 · 1 篇 · 以下链接均前往原始媒体

← 返回精选动态 原文

更多内容