生成 12 万亿合成 token 的经验——DatologyAI 的 Bogdan Gaza

DatologyAI 联合创始人兼 CTO Bogdan Gaza 介绍万亿 token 级合成数据工程的教训，包括约 12 万亿 token 的 web、数学和代码合成数据运行，以及 BeyondWeb 改写式合成数据配方。他讲述从 Slurm/Kubernetes 拆分迁移到 EKS on HyperPod 上的 Ray、KubeRay 和 vLLM 单管线，并分析 S3 元数据、GPU 故障、跨集群调度和推理调优四个瓶颈，其中批取 S3 元数据把 9–11 天缩短到约 2 小时，vLLM 参数扫描带来约 40% 吞吐提升。

AI推荐理由 DatologyAI 联合创始人兼 CTO Bogdan Gaza 分享万亿 token 级合成数据工程经验，包括约 12 万亿 token 的 web、数学和代码合成数据运行，BeyondWeb 改写式合成数据配方，以及从 Slurm/Kubernetes 拆分迁移到 Ray、KubeRay、vLLM 单管线。具体瓶颈与优化数据（S3 元数据批取从 9–11 天降到约 2 小时、vLLM 参数扫描提升约 40% 吞吐）有明确工程价值。局限是演讲者来自数据供应商，部分效果数据未在摘要中给出独立验证。