最新资讯
dev.to 如何在专用 GPU 服务器上用 OpenAI 兼容 API 部署 LLM dev.to 审计 153 份 Claude Code 与 Codex 会话记录:User-Agent 与 URL 中的邮箱泄露 dev.to 你的 Agent Harness 应具备的 17 项能力 dev.to 离线 AI 记忆中 0.8 余弦阈值为何失效 dev.to Kimi K3.1 Pro 开放权重:自托管 2.8T 模型前的开发者清单 dev.to 如何通过工具调用引导模型以提升 Harness 质量 dev.to AI Agent 审计轨迹不等于对话记录 dev.to 精简 MCP server 工具数量:更少工具、更小影响面,双重收益 dev.to 为什么 git checkout 无法撤销 AI 编码 agent 的改动? wechat AI短剧门槛降降降!实测即梦短剧工作室:剧本分镜预演一条龙,伙伴计划长期护航 dev.to 让模型改写文档前,先量化事实保真度 dev.to 回放 153 个 Claude Code 与 Codex 会话,审计 Agent 的生产影响范围
多元动态
登录 注册
大模型 simonwillison.net ·

ttok 1.0 发布:默认分词器切换至 GPT-5/GPT-6

原文 我的收藏

Simon Willison 发布 ttok 1.0,将默认分词器由 GPT-4 改为 GPT-5/GPT-6 系列。作者引用 William Liu 的实验:7 个 GPT 模型(5.5、5.6 Sol/Terra/Luna、6 Astra/Sol/Luna)在 31 个测试样本上均报告 44,794 tokens 且结果一致,但 OpenAI 尚未官方确认 GPT-6 与 GPT-5 使用相同分词器。

AI推荐理由 作者发布 ttok 1.0,将默认分词器从 GPT-4 切换为 GPT-5/GPT-6 系列;文中引用 William Liu 的实验称 7 个 GPT 模型在 31 个测试样本上均报告 44,794 tokens 且完全一致,但作者明确说明 OpenAI 尚未确认 GPT-6 与 GPT-5 使用同一分词器,该结论仍属未经官方确认的推断。对使用 token 计数工具的开发者有直接参考价值。

72

正文

当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。

来源报道 · 2 篇 · 以下链接均前往原始媒体

opmlrss::Simon Willison's Weblog ttok 1.0 发布:默认分词器切换至 GPT-5/GPT-6 10-09 · 原文发布
rss::Simon Willison's Weblog ttok 1.0 发布:默认分词器切换至 GPT-5/GPT-6 10-09 · 原文发布
← 返回精选动态 原文

更多内容