大模型
dev.to ·
@Carlos Chinchilla Corbacho
一个 transformer block 是六个张量加一条总线:把它当流水线来读
这是“从代码到权重”12 篇 ML 基础系列的第 5 篇,面向转向 ML 工程的开发者。文章以 nanoGPT 的 model.py 为对象,把整个 decoder block 当作流水线来读:输入是什么、每个阶段写入什么、参数和计算成本落在哪里,并指出二者并不在同一位置。作者还做了破坏性实验:逐个移除 block,以及让每个 block 覆盖输入而非相加。该系列每篇聚焦一个“行为不像普通软件”的点,本篇聚焦成本所在与代码所在不一致。
AI推荐理由 这是一篇面向工程师的 ML 基础系列文章(第 5 篇),以 nanoGPT 的 model.py 为对象,逐阶段拆解一个 transformer block 的数据流、参数位置与计算成本分布,并做了移除 block、改为覆盖输入等破坏性实验。具体价值在于把 block 当作流水线来读,指出成本所在与代码位置不一致这一工程直觉盲点;局限是内容属教学性解读,未提供新的模型、数据或可验证的性能结论,且正文片段在关键处截断。
62
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。