GPU 挂了，训练不停：Crusoe 的大规模自愈训练实践

Crusoe 的 Connor Guerrero、Young Jeong 和 Nikhil Gupta 介绍为何在 Kubernetes 之上构建 Managed Slurm：Slurm 提供 gang scheduling、拓扑感知和熟悉的 sbatch 工作流，但在动态资源、节点健康和可观测性上不足，Kubernetes 可补齐这些缺口。演讲展示 AutoClusters 对 XID 79 GPU 故障的自动修复流程（通知、排空、替换、重新排队、恢复），并演示训练中途杀死 GPU 后 15 分钟内从 checkpoint 自动恢复、无需人工操作，同时讨论训练与推理按需共享 GPU。

AI推荐理由 Crusoe 团队在 AI Engineer 分享的工程实践：在 Kubernetes 之上构建 Managed Slurm，解决大规模 GPU 训练中的硬件故障自动修复问题。具体新信息包括 AutoClusters 对 XID 79 GPU 故障的自动处理流程（通知、排空、替换、重新排队、恢复），以及演示训练中杀死 GPU 后 15 分钟内从 checkpoint 自动恢复、无需人工干预。还涉及训练与推理之间按需共享 GPU。局限是内容为会议演讲摘要，缺乏可验证的基准数据或独立复现，实际效果需以完整演讲和后续证据为准。