最新资讯
dev.to 如何在专用 GPU 服务器上用 OpenAI 兼容 API 部署 LLM dev.to 审计 153 份 Claude Code 与 Codex 会话记录:User-Agent 与 URL 中的邮箱泄露 dev.to 你的 Agent Harness 应具备的 17 项能力 dev.to 离线 AI 记忆中 0.8 余弦阈值为何失效 dev.to Kimi K3.1 Pro 开放权重:自托管 2.8T 模型前的开发者清单 dev.to 如何通过工具调用引导模型以提升 Harness 质量 dev.to AI Agent 审计轨迹不等于对话记录 dev.to 精简 MCP server 工具数量:更少工具、更小影响面,双重收益 dev.to 为什么 git checkout 无法撤销 AI 编码 agent 的改动? wechat AI短剧门槛降降降!实测即梦短剧工作室:剧本分镜预演一条龙,伙伴计划长期护航 dev.to 让模型改写文档前,先量化事实保真度 dev.to 回放 153 个 Claude Code 与 Codex 会话,审计 Agent 的生产影响范围
多元动态
登录 注册
算力商业 x.com · @meng shao(@shao__meng)

Jev 产品解读:结构化输出与校准置信度如何回应 RLHF 幻觉问题

原文 我的收藏

该帖回顾 TypeSafe AI CEO 在 AI Engineer 的演讲「Why RLCD beats RLHF」,并将其与 Jev 的产品设计逐条对应。作者认为 Jev 的关键差异是不生成自由文本,输出结构与取值预先定义,并附带校准概率,使开发者可按置信阈值决定自主执行或转人工;同时将 Jev 定位为'智能 if 语句',面向分类、路由、评分、抽取等场景,并称其输出 token 免费、公司自称已盈利。文中'快两个数量级、便宜两个数量级'等性能与商业数据均为产品方宣称,未提供独立验证。

AI推荐理由 这是一条对 TypeSafe AI 产品 Jev 的二手解读帖,核心信息来自作者对一场演讲的转述与产品官网/博客的对照,属于观点性长文而非官方发布。其具体新信息在于:Jev 采用结构化输出而非自由文本生成,声称类型错误在数学上不可能发生,并附带校准置信度,让开发者设阈值决定自主执行或上报人工;作者还将其与 RLHF 导致的过度自信、Claude Code 的辅助定位、以及 Jevons 悖论命名做了关联。局限也很明显:文中'快两个数量级、便宜两个数量级''已盈利'等说法均来自产品方宣称,无独立验证;'发布三天刷屏'属传播描述,不能作为质量证据;演讲与产品规格的对应关系是作者推断,非官方确认。

62

正文

Jev [@typesafeai](https://x.com/typesafeai) 发布三天、刷屏 X 信息流! 再回看一个月前 TypeSafe AI CEO [@CompleteSkeptic](https://x.com/CompleteSkeptic) 在 [@aiDotEngineer](https://x.com/aiDotEngineer) 主题演讲「Jev Creator: Why RLCD beats RLHF」,每一段论证几乎都是 Jev 产品规格的铺垫! Youtube:[youtu.be/cJ0EOzey--o](https://youtu.be/cJ0EOzey--o) # “取悦人类是幻觉的根源” → “不生成字符串,所以无法幻觉” 演讲中技术含量最高的部分是 Q&A 里那段:奖励模型存在类似 GAN 的不对称性,模型的不自信很容易被奖励模型识别并惩罚,于是模型学会丢弃不确定的模式、假装自信,幻觉是偏好优化的内在产物。 Jev 的回应是釜底抽薪:根本不生成自由文本。输出结构和取值预先定义,类型错误在数学上不可能发生;每个输出附带“认识论上诚实”的概率。演讲里那个 “放屁音效被夸成氛围音乐” 的段子,对应的正是 LLM 在不知道时必须编一个讨好你的字符串;Jev 没有编字符串的能力,只有说“我 60% 确信”的能力。 # “校准的决策能力” → Jev 的核心卖点 演讲埋了最重要的一句产品逻辑,Jev 发布时原样展开:“如果一个模型 95% 的时候做对,且它能告诉你自己何时处于那 5%,这个任务就可以被自动化。” 现有 LLM 被要求给置信度时过度自信且不一致(这正是 RLHF 教出来的),而 Jev 让开发者设阈值,高置信自主执行、低置信上报人工。这就是“人在 loop 中”从被迫的纠错者变成可选的开关。 # “不是 Claude Code 时代” → 产品定位的直接对立 演讲说 Claude Code 仍是辅助时代、仍是 RLHF,"if it was purely RLVR, it would look very different"。Jev 走得更远:连 API 形态都重造,不再是消息流,是结构化程序状态进、类型化决策出。演讲里指出的“agent 能力变强就不听话、听话就变弱”的优化空间拉扯,在 Jev 的框架里不存在,因为它从未被优化去听人类的话。 # “SaaS 自 2019 年没变过” → Jev 的目标市场 演讲中对软件的“哲学牢骚”(我们只自动化了写软件,软件本身没变聪明)正是 Jev 的产品定位:“智能 if 语句”。分类、路由、评分、抽取、分支、守卫,那些手写规则太脆、上 LLM 又太贵太慢太不可靠的地方。Doom demo(每秒 10 次查询、约 $7/小时)和 Wikiracing 展示的正是“软件直接依赖 AI”的形态。官网使命一句话:“AI needs an interface software could depend on”,这就是演讲里“smarter software, not just-in-time software”的工程化表述。 # “预训练不是问题” → Jev 的智能来源策略 演讲明确说:把互联网压缩成智能内核是了不起的,问题在于“发掘方式”。Jev 的实现路径与此一致——不重造智能,而是把预训练模型的智能 “主线导入” 到校准决策中,所以它敢宣称在 System One 任务上与前沿 LLM 智能相当,同时快两个数量级、便宜两个数量级。 # “任务 > 数据 > 算力” → 定价的商业逻辑 演讲中对 Sutton 苦涩教训的修正(“在游戏中算法比算力重要,现实中不成立;任务的选择比数据和算力都重要”)对应官网第二篇博客「The Bitterest Lesson」。这也解释了 Jev 反常的定价:输出 token 免费(“便宜到不值得计费”)、公司自称已盈利且要继续降价。他们赌的不是单位智能的价格战,而换了一个任务空间,在这个空间里同样的智能可以近乎免费地复用。 # 名字本身:Jevons 悖论 "Jev" 纪念 William Stanley Jevons,蒸汽机效率提高反而增加了煤的总消耗。这是对产品经济学的自我注解:智能的单次决策成本每下降一个数量级,消耗智能的用例会增加更多个数量级。演讲里“这些工作简单到可以反复近乎零成本执行”的描述,正是这个逻辑。回看标题 "Why Jev",一语三关:为什么叫 Jev(Jevons)、为什么需要 Jev(自动化缺口)、以及发布推文里那句自我追问:为什么共同发明了 ChatGPT 的超级对话模型却没有带来 AGI。 ![Tweet Image](https://pbs.twimg.com/media/HSir-Zaa4AAnBX3.jpg) ![AI Engineer 🔜 Paris 🇫🇷](https://pbs.twimg.com/profile_images/2088074761607987200/25voc1vQ_normal.jpg) AI Engineer 🔜 Paris 🇫🇷@aiDotEngineer Why [@CompleteSkeptic](https://x.com/CompleteSkeptic) created ChatGPT and then spent 2 years in stealth building Jev [Your browser does not support the video tag.](https://video.twimg.com/amplify_video/2101096263353856000/vid/avc1/1920x1080/QXR6IbV2upNr7v69.mp4?tag=29) [🔗 View on Twitter](https://x.com/aiDotEngineer/status/2101096346249830495/video/1) [🔗 View Quoted Tweet](https://x.com/aiDotEngineer/status/2101096346249830495) 💬0🔄0❤️0👀233

来源报道 · 1 篇 · 以下链接均前往原始媒体

← 返回精选动态 原文

更多内容