大模型
dev.to ·
@EME GUG
你的 GPU 基准在说谎：正确测量热降频下的 LLM 推理
文章指出现代 GPU 不在固定频率运行，T4 等被动散热卡在持续负载下会因温度和功耗触顶而降频；作者团队曾用 30 秒基准测得 8B 模型 42 tokens/s，生产持续运行仅 37–38 tokens/s，导致容量缺口近 10%，并分享更贴近长期运行的基准方法。
AI推荐理由 以 T4 为例说明短时 GPU 基准会因热降频高估 LLM 推理吞吐，作者自述 8B 模型 30 秒测得 42 tokens/s、持续运行降至 37–38 tokens/s，对容量规划有实际参考；证据为个人团队经验，非受控实验。
66
正文
当前仅保存了标题或简介；并非所有来源都提供正文，可通过下方原文链接查看。