行业动态
x.com ·
@Mustafa Suleyman (@mustafasuleyman)
微软AI称已建成3T参数级SOTA预训练基座模型
Mustafa Suleyman表示，微软AI（MAI）已拥有3T参数权重级别的SOTA预训练基座模型，且完全由MAI内部构建，后训练结果将随后公布，并附有技术博客链接。该帖未披露基准成绩、架构或训练细节，实际能力尚待验证。
AI推荐理由 微软AI（MAI）负责人Mustafa Suleyman宣布已拥有3T参数级别的SOTA预训练基座模型，且完全在MAI内部构建，并指向技术博客。这是官方人士的一手发布，涉及大模型预训练规模与自研能力，对模型与算力方向有参考价值。但正文仅为简短预告，未给出基准测试、架构、训练数据或算力细节，后训练结果尚未公布，实际效果无法验证，因此不能视为已证实的突破。
72
浏览 803,198
点赞 2,608
评论 114
转发 259
正文
We now have state-of-the-art pre-trained base models in the 3T-parameter weight class, built entirely in-house at MAI.
Post-training results coming soon -- stay tuned!
Lots of details in our technical blog post.
https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/