纯 Rust 在 CPU 上运行 Gemma 4、Qwen 3 与 Phi-4 等现代 SLM

作者将其纯 Rust + Candle 的 CPU 推理实验升级为多模型 CLI 引擎，支持 Gemma 4 (E4B)、Qwen 3/3.6 (4B)、Phi-4-mini (3.8B) 等量化 GGUF 模型，并计划给出内存占用、冷启动延迟等实测基准，目标是摆脱 Python 运行时与 CUDA 依赖。

AI推荐理由 文章延续作者此前用 Rust + Candle 在消费级 CPU 上跑 Phi-3 的实验，扩展到 Gemma 4 (E4B)、Qwen 3/3.6 (4B)、Phi-4-mini (3.8B) 等量化 GGUF 模型，构建多模型 CLI 引擎并给出 RAM、冷启动延迟等基准。对本地推理与去 Python 依赖有参考价值；但摘要未给出具体数字，且模型名称与版本需读者自行核实。