大模型
pub.towardsai.net ·
@Gian Luca Bailo, Ph.D.
DDR5 涨价五倍，2013 年工作站仍跑起 125B 模型
作者用 2013 年 Xeon 平台和两张 2017 年 Titan Xp 显卡运行 125B 模型，报告 38–48 tokens/s，并讨论 DDR5 价格大涨背景下本地 LLM 推理速度的真实来源。
AI推荐理由 个人实测记录：2013 年 Xeon 平台加两张 2017 年 Titan Xp 运行 125B 模型，给出 38–48 tokens/s 的具体数字，并讨论内存涨价下的本地推理成本；属单机个案，缺少可复现配置与基准细节，结论不宜外推。
62
正文
当前仅保存了标题或简介；并非所有来源都提供正文，可通过下方原文链接查看。