大模型
dev.to ·
@xbill
小模型上 drafter 是否有效？Gemma 4 E2B 与 E4B 在两块小 GPU 上的实测
文章给出用 llama.cpp 投机解码部署 Gemma 4 E2B 和 E4B 的分步指南，drafter 为 59 MB 的 4 层模型，在桌面 RTX 3050 OEM 与笔记本 GTX 1650 Ti 上单请求逐条服务时均带来加速，并报告 GSM8K 与 BFCL 分数；同时构建 Python MCP 工具简化 llama.cpp 托管部署管理。
AI推荐理由 提供 Gemma 4 E2B/E4B 在 llama.cpp 投机解码下配合 QAT drafter 的实测，含 RTX 3050 OEM 与 GTX 1650 Ti 两张小卡上的加速与 GSM8K、BFCL 分数，并附 GitHub 仓库；属可复现的工程测量，但为系列第二部分，部分细节依赖前文。
78
正文
当前仅保存了标题或简介；并非所有来源都提供正文，可通过下方原文链接查看。