研究：非英语语言消耗更多 AI token，形成“分词税”

据 Rest of World 报道的一项研究，非英语语言在 AI 模型中消耗的 token 明显更多，最昂贵的语言比最便宜的语言多出 1.5 至 5 倍，形成所谓的“tokenizer tax”。这推高了非英语用户的使用成本，并压缩其可用上下文长度。

AI推荐理由 Rest of World 的研究指出非英语语言消耗的 AI token 显著更多，最贵语言比最便宜语言高 1.5 至 5 倍，形成“tokenizer tax”，直接影响多语言用户的成本与可用上下文；该发现对模型分词设计和全球化部署有实际意义，但摘要未给出研究方法细节。