FP8 陷阱：GPU 账单降了 47%，因为模型在输出“!!!!!!”

作者在单张 AMD MI300X 上使用 vLLM 的 ROCm 版本，对 Qwen2.5 7B、32B、72B 做成本基准测试，按 2.99 美元/GPU 小时计价，32 并发、最多 256 输出 token。基线为 7B 每百万输出 token 0.227 美元、32B 0.77 美元、72B 1.67 美元，72B 重复测试偏差在 0.4% 内。开启 FP8 量化后 32B 降至 0.449 美元（−41%），72B 降至 0.872 美元（−47%）。标题暗示 FP8 存在陷阱，但摘要未说明具体问题。

AI推荐理由 在单张 AMD MI300X 上用 vLLM ROCm 实测 Qwen2.5 7B/32B/72B 的每百万输出 token 成本，并给出 FP8 量化后 32B 降 41%、72B 降 47% 的数据；标题暗示 FP8 存在陷阱，但摘要未展开该风险，需注意结论不完整。