AI 内存墙：为何 LLM 与 AI 加速器遭遇瓶颈

IBM Technology 视频讲解 AI 计算中的内存墙问题：算力增长快于内存带宽，导致部分 LLM 推理受限于内存而非算力。内容涵盖算术强度、roofline 模型、compute-bound 与 memory-bound 负载的区分，以及 LLM 推理中 prefill 与 decode 阶段的不同表现，并说明批处理和连续批处理如何提升推理效率。

AI推荐理由 IBM Technology 出品的科普视频，由 Kaoutar El Maghraoui 讲解内存墙、算术强度、roofline 模型，以及 LLM 推理中 prefill 与 decode 的差异和连续批处理的作用。内容属于体系化技术解释，信息密度较高，对理解推理性能瓶颈有实际参考价值；但它是概念科普，没有新数据、新模型或可验证的实验结果，因此兴趣分不宜过高。