最新资讯
reddit.com OpenAI 称 Astra 仅满足 10% 安全任务标准 dev.to FreeToken:在自有 GPU 上运行前沿 MoE 模型及其内存需求 dev.to 当 AI Agent 说“完成”时,究竟完成了什么? dev.to 部署 Underdog Bark 3.0 Pro:逐字转写、自定义后端与分块设置 dev.to 为艰难对话构建 AI:五个 Agent、一条安全正则与一位盲评监督者 techcrunch.com Palo Alto Networks 洽谈以 5 亿美元收购 AI Agent 安全初创公司 Clutch theinformation.com 黄仁勋被要求就涉华间谍指控向国会作简报 www.infoq.com Edera 推出 Object Capability Bounded Authority,试图将凭证与 AI Agent 工作负载隔离 wechat 这波杀疯了!旗舰级模型不限量、1个月视频额度免费领 bloomberg.com AI 抛售蔓延至信用市场,软银领跌亚洲美元债 dev.to 如何在专用 GPU 服务器上用 OpenAI 兼容 API 部署 LLM dev.to 审计 153 份 Claude Code 与 Codex 会话记录:User-Agent 与 URL 中的邮箱泄露
多元动态
登录 注册
大模型 dev.to · @xbill

4 GB 笔记本 GPU 在 Gemma 4 上比 12 核 CPU 快 4.3 倍

原文 我的收藏

作者在同一台 13 代 Intel i7-1360P 笔记本上对比纯 CPU 与 4 GB GTX 1650 Ti Max-Q 运行同一 Gemma 4 E2B q4_0 GGUF 模型,两条命令仅 -ngl 参数不同(0 与 99),其余参数一致。GPU 侧解码速度提升 4.3 倍。文中列出 llama.cpp 构建版本、量化格式、上下文长度等完整配置,代码仓库为 github.com/xbill9/gemma4-dev。

AI推荐理由 文章给出可复现的本地推理对比:同一台 i7-1360P 笔记本上,仅改变 llama.cpp 的 -ngl 参数(0 与 99),在 4 GB GTX 1650 Ti Max-Q 上运行 Gemma 4 E2B q4_0 量化模型,解码速度比纯 CPU 快 4.3 倍,并列出模型、构建版本与完整命令行。数据具体、条件明确,对本地小模型部署有参考价值,但为单机单次测试,未提供多次重复或误差范围。

72

正文

A 4 GB Laptop GPU Beats a 12-Core CPU by 4.3x on Gemma 4 #machinelearning #gpu #benchmarking #python 原文地址: https://dev.to/gde/a-4-gb-laptop-gpu-beats-a-12-core-cpu-by-43x-on-gemma-4-4150

来源报道 · 2 篇 · 以下链接均前往原始媒体

← 返回精选动态 原文

更多内容