面向万亿参数：Cerebras 权重流式架构解析

文章讨论模型迈向万亿参数时的'内存墙'：传统 GPU 集群需张量、流水线与数据并行切分权重，GPU 间通信开销可能逼近计算开销。Cerebras 提出的 Weight-Streaming 方案以 Wafer-Scale Engine 3 将内存与计算解耦，把模型权重存放在可扩展至 PB 级的 DRAM 外部内存池中，按需流入晶圆，从而缓解互连瓶颈。内容主要转述 Cerebras 博客观点，未给出独立实测结果。

AI推荐理由 围绕 Cerebras WSE-3 的权重流式架构，解释万亿参数规模下的互连与片上内存瓶颈，以及将权重放在可扩展 DRAM 池、按需流入晶圆的设计，对算力与训练架构读者有信息量；但内容基于 Cerebras 官方博客的二次转述，缺少实测数据。