驯服 AI 硬件的寒武纪大爆发——Modular 的 Abdul Dakkak

Modular 首席科学家 Abdul Dakkak 认为算力已被预订多年、新芯片不断涌现，真正的难点是让软件在所有硬件上高效运行。他指出当前 AI 软件栈碎片化，vLLM、SGLang、TensorRT-LLM 和 llama.cpp 各自围绕不同硬件打补丁，Modular 因此从底层重建：Mojo 是面向 CPU、GPU 和加速器的 Python 风格系统语言，目标是达到 CUDA 级性能，其开源 kernel（含 matmul 和 attention）据称优于厂商库和 FlashAttention 4，并计划推出 Mojo 1.0 与开源版本；MAX 是重新思考 PyTorch 时代假设的推理框架，在 OpenAI 兼容端点后支持数千种模型架构，可跨 GPU、节点乃至混合硬件运行；Modular Cloud 将其整合为可调优的 glass box。演讲还给出 Kimi K2.5、FLUX.2、AMD MI355、Gemma 4 等基准和亚秒级图像生成的说法。

AI推荐理由 Modular 首席科学家 Abdul Dakkak 的演讲，指出 vLLM、SGLang、TensorRT-LLM、llama.cpp 各自针对不同硬件打补丁导致软件栈碎片化，并介绍从底层重建的路线：Mojo 面向 CPU/GPU/加速器、开源 matmul 与 attention kernel（声称优于厂商库和 FlashAttention 4）、MAX 推理框架支持数千种模型架构和 OpenAI 兼容端点、Modular Cloud 作为可调优的 glass box。摘要提及 Kimi K2.5、FLUX.2、AMD MI355、Gemma 4 等基准和亚秒级图像生成，但均为演讲者自述，未提供可独立核验的数据。