论文揭示预训练数据混合实验因重复失配而无法扩展及修复方法

该研究指出，在稀缺高质量数据需要重复使用的场景下，小型预训练数据混合实验的结果难以推广到目标训练预算。论文分析了这一现象的根源，并提出了相应的修正策略。

AI推荐理由 该研究揭示小规模数据配比实验在稀缺高质量数据需要重复时难以外推的机制，帮助训练团队避免按错误配比放大预算造成的不必要浪费；若能验证，将提升预训练超参数调优的可靠性与成本效率。