大模型
simonwillison.net ·
ttok 1.0 发布:默认分词器切换至 GPT-5/GPT-6
Simon Willison 发布 ttok 1.0,将默认分词器由 GPT-4 改为 GPT-5/GPT-6 系列。作者引用 William Liu 的实验:7 个 GPT 模型(5.5、5.6 Sol/Terra/Luna、6 Astra/Sol/Luna)在 31 个测试样本上均报告 44,794 tokens 且结果一致,但 OpenAI 尚未官方确认 GPT-6 与 GPT-5 使用相同分词器。
AI推荐理由 作者发布 ttok 1.0,将默认分词器从 GPT-4 切换为 GPT-5/GPT-6 系列;文中引用 William Liu 的实验称 7 个 GPT 模型在 31 个测试样本上均报告 44,794 tokens 且完全一致,但作者明确说明 OpenAI 尚未确认 GPT-6 与 GPT-5 使用同一分词器,该结论仍属未经官方确认的推断。对使用 token 计数工具的开发者有直接参考价值。
72
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。