大模型
pub.towardsai.net ·
@Gian Luca Bailo, Ph.D.
两台家用 PC 跑 125B 模型：经千兆以太网拆分 Strata 层
作者用第二台 PC 和普通网线拆分 Strata 层，使无法装入内存的 4-bit 125B 模型在相同质量下提速 87%；长提示变慢，单机已够用时第二台仅增加功耗。测量均在自有机器上完成，文本由 Claude 辅助撰写。
AI推荐理由 作者在两台家用 PC 上通过千兆以太网拆分 Strata 层，使 4-bit 125B MoE 模型在内存不足时提速 87%，并指出长提示变慢、单机足够时第二台只增加功耗等局限；有自测数据但为个人实验，作者声明文本由 AI 辅助撰写。
68
正文
当前仅保存了标题或简介；并非所有来源都提供正文，可通过下方原文链接查看。