一个 AI token 值多少？野生 AI 生成网页文本的缩放律

论文研究预训练语料中“野生”AI 生成文本的影响：经 FineWeb 质量过滤后，2026 年 6 月网络数据中 27.5% 的 token 被 Pangram 标注为 AI 生成，8 月升至 31.1%；这类文本来自多个模型、面向人类读者且未加标注。作者预训练 800 个语言模型，改变 AI token 与人类 token 的比例并拟合缩放律：对数据匮乏的模型，加入 AI token 初期可降低人类文本损失，但收益很快饱和并转为损害；对使用大量人类文本训练的模型，AI token 几乎立即抬高损失，而等量新鲜人类 token 仍持续降低损失。

AI推荐理由 arXiv 论文，量化了 2026 年 6 月至 8 月网络数据中 AI 生成文本占比（经 FineWeb 质量过滤后由 27.5% 升至 31.1%），并通过预训练 800 个语言模型拟合缩放律，给出 AI 文本比例与人类文本损失之间的非单调关系。数据规模与结论具体，对预训练数据策略有直接参考价值；局限是结论基于特定标注工具 Pangram 与实验设定。