两个 PyTorch 算子让 CUDA 文本模型卡在 Apple GPU 上

作者在 Mac 上运行 Next-Concept Modeling 评测脚本时，PyTorch 2.14.1 虽报告 Apple GPU 可用，evaluate.py 仍以“无 GPU”退出。原因是启动器只统计 CUDA 设备并设置 CUDA_VISIBLE_DEVICES，在 Mac 上计数为 0，进程在加载 checkpoint 前即停止。模型配置本身已关闭 FlexAttention、使用缩放点积注意力等，无需重写。作者给出同时支持 CUDA 与 MPS 的 accelerator() 辅助函数，并指出三处 CUDA 假设中有两处是真实的 Metal 限制，第三处只是设备选择逻辑。

AI推荐理由 记录在 Apple Silicon 上运行原本面向 CUDA 的文本模型时遇到的具体问题：启动脚本用 torch.cuda.device_count() 统计设备，在 Mac 上返回 0 导致进程在加载 checkpoint 前退出；作者给出同时支持 CUDA 与 MPS 的 accelerator() 辅助函数，并指出两处真实的 Metal 限制。对跨平台推理部署有实用参考，但为个人调试记录，未给出性能数据。