← 返回日报目录
已归档
2026-09-14
4 个事件 · 4 条内容
数据截止 2026-09-15 06:45 · 北京时间
本期已保存归档快照，后续资讯入库和评分变化不会改写这期内容。
大模型 2
智能体 1
开源工具 1
01
大模型 82 原文发布 2026-09-14
论文提出 PrecepTron，通过对 32B 参数模型进行 LoRA 微调，用少量医生示例训练出医生级开放式回答评估器，并发布由 11 位医生在七项研究中标注 9,217 条评分的 GRAND-ROUNDS 基准。作者称前沿 LLM 的常规 LLM-as-a-judge 方法常与医生及彼此不一致，而 PrecepTron 可在多任务上实现一致的医生级评分，并在无新增人工评分的情况下复现 JAMA、Science、Nature Medicine 五项研究的核心结论，还用于测量病例逐段甚至逐 token 给出时前沿 LLM 的诊断准确性。代码、数据与标签将公开。
AI推荐理由 arXiv 论文，作者团队来自多家医疗机构，方法描述具体：用 LoRA 微调 32B 模型得到 PrecepTron 评估器，并发布 9,217 条医生标注的 GRAND-ROUNDS 基准，声称可复现 JAMA、Science、Nature Medicine 五项研究的结论。新信息在于用少量医生样本微调即可达到医生级一致评分，并支持逐 token 提供病例的诊断准确性测量；局限是摘要未给出具体一致性指标与误差范围，复现结论的可靠性仍需看全文。
02
智能体 82 原文发布 2026-09-14
论文提出 TAM 基准，用于评估长时程程序性推理。任务取自 ICD-10-CM 临床编码（将病症映射为诊断码）和美国联邦量刑（计算犯罪量刑指南中的犯罪等级）两个真实领域，标签经人工验证；每个任务需遵循含数万条规则的权威手册，跨不同章节执行一系列相互依赖的步骤以得出精确答案。作者在 GPT-5 上评估通用提示方法，包括检索增强生成、ReAct 式提示和一种 agent harness 基线，发现最佳精确匹配率仍极低：ICD-10-CM 编码为 1%，量刑任务为 15.5%。结果表明当前基准可能高估 LLM 的推理能力，并遗漏了可靠遵循长规则化流程这一关键挑战。TAM 数据与代码已公开。
AI推荐理由 arXiv 论文，提出 TAM 基准，用 ICD-10-CM 临床编码和美国联邦量刑两个真实领域任务评估长时程程序性推理，任务需遵循数万条规则的权威手册并执行跨章节的相互依赖步骤，标签经人工验证。在 GPT-5 上测试 RAG、ReAct 式提示和 agent harness 基线，最佳精确匹配仅 1%（ICD-10-CM）和 15.5%（量刑），指出当前基准可能高估 LLM 推理能力。数据与代码公开。局限是仅摘要，未提供各方法细节与误差分析。
03
大模型 82 原文发布 2026-09-14
该 arXiv 论文构建了含 150 篇学术论文、450 处三类植入污染（拼写损坏、语义反转、荒谬插入）的语料，评估 Google Gemini 3.0 Pro 在单文档、小批次、大批次三种提示规模下恢复 180 条答案键子集的能力。结果显示检测在小规模下已不可靠（单文档 50%、小批次 60%，该样本无法区分二者差异），大批次下骤降至 2.8%；失败模式并非弃权而是编造，模型会自信地报告文档中不存在的污染，如“telepathic squirrel”“quantum-powered toaster”。按污染类型，荒谬插入在已完成评估中恢复率 75%，语义反转与拼写损坏各仅 50%，即现实中更常见的合理型污染最易被漏检。作者结论是 LLM 文档审计的退化不是平滑的而是欺骗性的，并提出所需约束：限制批次大小、直接注入内容、对每条报告发现做机械式原文核验。
AI推荐理由 arXiv 论文（v2，2026-09-11 修订），实验设置明确：150 篇论文、450 处植入污染、180 条答案键子集、三种提示规模，报告单文档 50%、小批次 60%、大批次 2.8% 的恢复率，并指出大批次下模型不是弃权而是编造不存在的污染（如“telepathic squirrel”），且语义反转与拼写错误各仅 50%、荒谬插入 75%。这些具体数字与失败模式对 LLM 文档审计、Agent 可靠性评估有直接参考价值；局限是仅评估 Gemini 3.0 Pro 单一模型、样本规模有限，作者自述单文档与小批次差异在本样本内无法区分。
04
开源工具 80 原文发布 2026-09-14
Sam Altman 发帖称，世界应相信开发日益强大 AI 的美国公司会负责任行事，每家前沿实验室都必须做到。他欢迎为前沿 AI 设定一致安全要求的联邦框架，但认为不必等待反垄断豁免或立法即可开始工作，并对独立审计等思路表示期待。他指出，Responsible Scaling Policies 和 Preparedness Frameworks 主要聚焦已发布模型的部署，而非开发过程；如今转向安全开发与评估需要新工具，例如 OpenAI 现在会在预期显著提升能力的前沿强化学习训练前预先制定明确的安全案例。他强调'pacing'不是'停止'，安全干预有显著成本但值得，国际协调需要政府协助。
AI推荐理由 Sam Altman 关于前沿 AI 安全治理的完整表态，包含多项具体信息：欢迎联邦统一安全要求框架、支持独立审计、指出 Responsible Scaling Policies 与 Preparedness Frameworks 主要针对已发布模型而非开发过程、OpenAI 在 frontier RL 训练前预先制定安全案例、'pacing 不等于 stopping'、以及国际协调需要政府协助。属于一线实验室负责人对安全政策与内部流程的公开说明，对理解前沿 AI 治理走向有实际价值。
本期编排说明 阅读条件齐全、质量分至少 80 分，按真实发布或有依据的报道时间入期。
复用已审核的中文摘要与推荐理由，按质量分编排，不追加模型分析。
同一原文、已确认的重复 X 正文，以及同日完整长标题严格一致且含具体数值的事件合并保留全部来源；短标题、汇总标题或仅主题相似不合并。