Glitch Tokens 与 Fragile Tokens 的对比研究

该研究提出 FragileTokens：在孤立复制探测中通过、但在上下文中出现复制错误的词表条目。方法是将固定 token ID 插入共享的随机常用词序列库，测量复制位置出现预期 token 的概率，并检查部分解码失败案例。在 Qwen 和 OLMo 系列的八个开放权重模型上，基于概率的筛选在至少 10% 的测试上下文中标记出 0.4% 至 10.9% 的隔离通过 token；作者强调这些数值衡量的是筛选流行度，而非已验证解码错误的流行度。逐 token 筛选分数在上下文两半之间的相关性为 0.82 至 0.95，存储样例展示了删除、替换、截断和翻译等错误，包括在输出分布集中时发生的错误。

AI推荐理由 提出 FragileTokens 概念：通过孤立复制探测但在上下文中出现复制错误的词表条目，并在 Qwen 与 OLMo 八个开放权重模型上做概率筛选，报告 0.4%–10.9% 的隔离通过 token 在至少 10% 测试上下文中被标记，且上下文两半的逐 token 筛选分相关性为 0.82–0.95，并给出删除、替换、截断、翻译等失败样例。新信息在于把 token 级探测扩展到上下文复制失败，对理解 LLM 分词与解码可靠性有参考价值；局限是作者明确说明这些数值衡量的是筛选流行度而非已验证解码错误流行度，且未提供完整实验细节。