大模型
dev.to ·
@ai maya
Anthropic FlashProve:72 倍开销与 1024 token 上限对模型溯源意味着什么
Anthropic 发布 Apache 2.0 开源原型 FlashProve,可让模型提供方在不公开权重的情况下证明某条回复由特定已承诺权重生成。在 400B 参数 MoE 模型(Llama 4 Maverick,4-bit 权重)上,单张 H100 约 110 token/s,1024 token 请求的证明约 19MB,CPU 验证约 17 秒;对比系统需 93.6GB 证明、近一天验证。局限包括仅覆盖整数模型与贪心解码、上下文上限 1024 token、证明 GPU 开销约为普通推理的 72–95 倍,作者按假设租金估算约每百万 token 6 美元。
AI推荐理由 介绍 Anthropic 开源的 FlashProve 原型:可在不暴露权重的前提下证明某条回复由特定权重产生,给出 400B MoE 模型上单 H100 约 110 token/s、1024 token 请求约 19MB 证明、CPU 约 17 秒验证等具体数字,并明确局限(整数模型、贪心解码、上下文上限 1024 token、证明开销约为普通推理的 72–95 倍)。对模型溯源与合规有参考价值,但成本估算为作者假设推算,且片段未提供独立复现。
74
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。