开源工具
github.com ·
Show HN：Capy-flash 在双16GB消费级GPU上运行125B MoE模型
GitHub项目Capy-flash声称可在两块16GB消费级GPU上运行125B参数的MoE模型。输入未提供量化方案、推理速度或显存占用等验证细节，HN讨论热度仅1点。
AI推荐理由 在消费级双16GB GPU上运行125B MoE模型，若属实对本地推理与显存优化有实际参考价值；但输入仅有标题和1个HN点数，无技术方案、量化方式或实测吞吐，无法验证可行性，需保留不确定性。
62
正文
Capy-flash – a 125B MoE model on two 16 GB consumer GPUs #ShowHn 👉 1 HN Points: https://news.ycombinator.com/item?id=50118153 原文地址: https://github.com/ValerioDolci/capy-flash