SageMaker 上的 Gemma 4：单张 L4 上 4-bit Embeddings 解码最高快 1.39 倍

该文将 Gemma 4 的量化感知训练（QAT）权重重打包为多种 4-bit 与 8-bit 格式，并在同一 Amazon SageMaker NVIDIA L4 端点上逐一测量，同时用一套 Python MCP 工具简化 vLLM 部署管理。模型覆盖 Gemma 4 E2B、E4B、12B、26B A4B 和 31B；硬件为 SageMaker ml.g6.xlarge（1× NVIDIA L4，24 GB，31B 使用 ml.g6.2xlarge），区域 us-east-2，软件为 AWS vLLM SageMaker 容器、vLLM 0.30.0。结果为：4-bit embeddings 与 lm_head 的解码速度比同模型 16-bit embeddings 快 1.12x–1.39x 且答案一致；8-bit 线性层解码速度为 4-bit 的 0.58x–0.71x。

AI推荐理由 系列第三篇，给出可复现的量化实验：将 Gemma 4 的 QAT 权重重打包为多种 4-bit/8-bit 格式，在同一 SageMaker NVIDIA L4 端点（vLLM 0.30.0）上对比。结论为 4-bit embeddings 与 lm_head 解码比 16-bit embeddings 快 1.12x–1.39x 且答案一致，8-bit 线性层解码仅为 4-bit 的 0.58x–0.71x。有明确硬件、软件版本与模型清单，属可验证的工程测量，但为作者自测，未提供完整基准细节。