大模型
dev.to ·
@Anshul Rajpal
Janas：通过从 SSD 流式加载运行超出内存的 LLM
Janas 是一款通过从 SSD 流式加载专家模型来运行超出内存容量 LLM 的工具，目标是让 16GB 内存的机器运行通常需要 100GB 内存的模型。其特点包括按专家粒度流式加载、支持任意开源权重 MoE 模型，并提供 CLI 与 API。作者在 16GB 内存机器上试用一周，指出代价是速度慢于内存加载，但快于磁盘交换。
AI推荐理由 文章介绍工具 Janas，通过从 SSD 流式加载 MoE 专家来运行超出内存容量的 LLM，并给出在 16GB 内存机器上的一周实测体验。属于个人评测，缺少吞吐、延迟等量化基准，且“2026 年 10 月发布”等表述需谨慎对待。
60
正文
当前仅保存了标题或简介；并非所有来源都提供正文，可通过下方原文链接查看。