行业动态
reddit.com ·
@/u/Valdrans
Meta 发布 8160 亿参数开放模型 Muse Spark,可在双 Mac Studio 本地运行
据 Reddit 转述,Meta 发布开放权重模型 Muse Spark Open,参数量 8160 亿,支持多平台并可在本地 Mac Studio 运行。据称该模型是同类中首个可在桌面端运行的模型,需两台搭载 Apple M5 Ultra 的 Mac Studio 并借助 Apple MLX 框架;4-bit 压缩版约 493GB,无法装入单台 512GB Mac Studio。Apple 公布的基准显示,4-bit 模型在两台 M5 Ultra 上以张量并行达到 24.99 tokens/s,四台机器可达 36.73 tokens/s,并通过 Thunderbolt 5 线缆上的 RDMA 实现低延迟数据传输。上述信息尚未获官方来源确认。
AI推荐理由 若属实,这是 8160 亿参数开放权重模型首次可在桌面端本地运行,涉及 Apple MLX、4-bit 量化(约 493GB)、Thunderbolt 5 RDMA 张量并行等具体技术细节,并给出 24.99 tokens/s(双 M5 Ultra)与 36.73 tokens/s(四机)的基准数据。但来源为 Reddit 转述,未提供 Meta 或 Apple 官方链接,需核实。
82
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。