如何让 GPU 训练在 spot 抢占下存活（无需人工盯守）

文章给出在 spot/可中断 GPU 上训练的抗抢占模式：将权重、优化器状态、学习率调度器、RNG 状态、数据加载位置和当前步数统一放入一个目录，原子写入检查点，并在启动时加载；最终模型与评估报告另存。作者以 Nodus 的 /nodus/state 与 /nodus/outputs 为例，称该模式可让一次抢占只损失数分钟工作而非整个训练。

AI推荐理由 针对 spot/可中断 GPU 被回收导致训练中断的常见痛点，给出可迁移的工程模式：把权重、优化器、调度器、RNG、数据加载位置等恢复状态集中到一个目录、原子写入、启动时加载，并依赖平台在机器消失前复制该目录。方法本身通用，但示例绑定 Nodus 的 /nodus/state 路径，带有平台推广色彩，且未给出实测恢复耗时或成功率数据。