行业动态
dev.to ·
@ai maya
登顶七个 Hugging Face 榜单的 180B 模型现可在笔记本上运行,无需 GPU
VIDRAFT 发布 POCKET-Darwin-180B,称其为 Darwin-180B-RSI 的压缩版本,后者据称在七个 Hugging Face 官方榜单排名第一(自述)。该版本以 4-bit GGUF 形式发布,体积 111GB(原 BF16 为 360GB),在 Hugging Face 与 ModelScope 上线。文中给出:单颗 16 线程服务器 CPU 生成 18.4–21.0 tokens/s、峰值内存 78.8GB;RTX 5060 笔记本(8GB 显存 + 32GB 内存)4.17 tokens/s;128GB 内存迷你主机可整模型驻留。MMLU-Pro 2000 题配对比较为 87.65% 对 87.65%。
AI推荐理由 涉及 180B 级模型压缩后在消费级硬件上推理的具体数据(111GB 4-bit GGUF、CPU 18.4–21.0 tokens/s、8GB 显存笔记本 4.17 tokens/s、MMLU-Pro 配对比较 87.65% 对 87.65%),对本地部署与算力话题有参考价值;但榜单第一为自述、缺少独立验证,且发布方与模型信息需谨慎对待,故质量分受限。
62
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。